Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra,...
分类:
Web程序 时间:
2015-01-13 01:28:23
阅读次数:
278
最近在测试hive0.11hiveserver时遇到的一个关于认证的bug,具体表现:在配置中指定了custom的认证方式时,通过beeline连接hiveserver2,发现连接hang祝hive配置:<property>
<name>hive.server2.authentication</name>a
<value>CUSTOM</value>
&l..
分类:
其他好文 时间:
2015-01-12 06:57:09
阅读次数:
420
Relation to this link http://www-01.ibm.com/support/docview.wss?uid=swg21399105 2015-01-11-13.38.19.538002+000 E263507727A548 LEVEL: Warning PID : 151...
分类:
数据库 时间:
2015-01-12 00:21:07
阅读次数:
254
大数据实践:ODI和Twitter(二) 在前面的文章中,我们已经使用flume将数据从twitter抓取到Hive中,现在我们来看看ODI(Oracle Data Integrator)如何在HIVE表中进行逆向工程,打开HIVE模型,然后在逆向工程中选择“新的数据存储”及待逆向的对象,如下: ....
分类:
其他好文 时间:
2015-01-12 00:08:37
阅读次数:
249
Hive 支持关系型数据库中的大多数据基本数据类型,同时也支持3种集合类型;3.1 Hive 的基本数据类型支持多种不同他度的整形和浮点型数据类型,具体如下(全都是保留字):tinyint 1byte 有符号整数smalint 2byte有符号号数int 4byte有符号号数bigint 8...
分类:
其他好文 时间:
2015-01-11 20:15:26
阅读次数:
213
2.3 Hive 内部介绍: P44$HIVE_HOME/lib 下的 jar 文件是具体的功能部分;(CLI模块)其它组件,Thrift 服务,可以远程访问其他进程功能;也有使用 JDBC 和 ODBC 访问 Hive 的功能;所有Hive 客户端都需要一个 metastoreservice(元数...
分类:
其他好文 时间:
2015-01-11 17:26:04
阅读次数:
223
问题:
去年用Pig进行了一系列报表和ETL的开发,感觉Pig很不错,没有Hive的娇贵,又比粗糙的MapReduce来的精巧,很称手。新年正好涉及以前的程序调整,借此之机,对Pig写的脚本进行了优化。毕竟,越用越熟,越能发现Pig的魅力。
在整理以前的Pig程序里,发现了一个问题,就是pig没有提取数据集大小的功能,所以每次要取数据集条数的工作,总会遗留下如下代码:
curr...
分类:
系统相关 时间:
2015-01-09 17:24:48
阅读次数:
203
python version 2.6.6 ; pexpect 2.3login方法解读:def login (args, cli_username=None, cli_password=None): # I have to keep a separate list of host names ...
分类:
其他好文 时间:
2015-01-09 16:55:31
阅读次数:
158
本文前提是Hadoop & Java & mysql 数据库,已经安装配置好,并且 环境变量均已经配置到位一、Hive 基本介绍 Hive是Hadoop家族中一款数据仓库产品,Hive最大的特点就是提供了类SQL的语法,封装了底层的MapReduce过程,让有SQL基础的业务人员,也可以直接利用H....
分类:
其他好文 时间:
2015-01-09 14:03:57
阅读次数:
151