1. 根据字符串分割实现一行变多行关键字:LATERAL VIEW, explode,splitSELECT ad_time_slice_index, SUM(impression_count) FROM base_tracking_logs LATERRAL VIEW EXPLODE(SPLIT(...
分类:
其他好文 时间:
2015-08-11 13:36:12
阅读次数:
167
Hadoop 生态圈commonArvoMapReduceHDFSPigHive 一个分布式、按列存储的数据仓库。Hive管理HDFS中存储的数据,并提供基于SQL的查询语言(由运行时引擎翻译成MapReduce作业)用以查询数据。HBase 一个分布式、按列存储数据库。HBase使用HD...
分类:
其他好文 时间:
2015-08-11 10:02:45
阅读次数:
132
Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql,和传统关系型数据库有区别,所以需要去掉原有关系型数据库下开发的一些固有思维。基本原则:1:尽量尽早地过滤数据,减少每个阶段的数据量,对于分区表要加分区,...
分类:
其他好文 时间:
2015-08-10 17:55:51
阅读次数:
134
转自:http://www.uml.org.cn/sjjm/201508103.asp 作者:Uri Margalit 来源:InfoQ 发布于:2015-8-10TDW(Tencent distributed Data Warehouse,腾讯分布式数据仓库)基于开源软件Hadoop和Hive进行...
分类:
其他好文 时间:
2015-08-10 17:46:57
阅读次数:
240
在进行Hive集成Mysql作为元数据过程中,做完所有安装配置工作后,进入到hive模式,执行show databases;执行正常,接着执行show tables;时却报错。
关键错误信息如下:
com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key leng...
分类:
数据库 时间:
2015-08-10 00:23:51
阅读次数:
349
[Author]: kwu --- hive命令行不打印日志,hive的命令行运行会输出mapreduce的日志,这些日志对大部分用户来说是不需要的。...
分类:
其他好文 时间:
2015-08-10 00:20:22
阅读次数:
929
首先给出原文链接: 原文链接大数据本身是一个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你能够把它比作一个厨房所以须要的各种工具。锅碗瓢盆,各有各的用处。互相之间又有重合。你能够用汤锅直接当碗吃饭喝汤,你能够用小刀或者刨子去皮。可...
分类:
其他好文 时间:
2015-08-09 13:50:21
阅读次数:
163
在一些 Teiid 的一些文章和示例上都会有关于 JBoss Data Virtualization (Teiid) 通过 Hive 使用 Hadoop 作为数据源的信息。当使用 Hadoop 环境创建 Data Virtualization 示例时,比如 Hortonworks Data Pla...
分类:
其他好文 时间:
2015-08-09 11:01:44
阅读次数:
239
笔者博文:妳那伊抹微笑博客地址:http://blog.csdn.net/u012185296个性签名:世界上最遥远的距离不是天涯,也不是海角,而是我站在妳的面前。妳却感觉不到我的存在技术方向:Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahout+Spar...
分类:
编程语言 时间:
2015-08-09 09:26:51
阅读次数:
161
Sequoiadb作为一个文档型NoSQL数据既可以存储结构化数据也可以存储非结构化数据,对于非结构化数据只能使用原生的API进行查询,对结构化数据我们可以选择使用原生的API和开源SQL引擎,目前PostgresSQL,Hive,SparkSQL都可以作为Sequoiadb的SQL引擎,应用中该如...
分类:
数据库 时间:
2015-08-09 00:24:45
阅读次数:
219