Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra,...
分类：
Web程序 时间：
2015-01-13 01:28:23
阅读次数：
278
最近在测试hive0.11hiveserver时遇到的一个关于认证的bug，具体表现：在配置中指定了custom的认证方式时，通过beeline连接hiveserver2,发现连接hang祝hive配置：<property>
<name>hive.server2.authentication</name>a
<value>CUSTOM</value>
&l..
分类：
其他好文 时间：
2015-01-12 06:57:09
阅读次数：
420
Relation to this link http://www-01.ibm.com/support/docview.wss?uid=swg21399105 2015-01-11-13.38.19.538002+000 E263507727A548 LEVEL: Warning PID : 151...
分类：
数据库 时间：
2015-01-12 00:21:07
阅读次数：
254
大数据实践：ODI和Twitter(二) 在前面的文章中，我们已经使用flume将数据从twitter抓取到Hive中，现在我们来看看ODI（Oracle Data Integrator）如何在HIVE表中进行逆向工程，打开HIVE模型，然后在逆向工程中选择“新的数据存储”及待逆向的对象，如下： ....
分类：
其他好文 时间：
2015-01-12 00:08:37
阅读次数：
249
Hive 支持关系型数据库中的大多数据基本数据类型，同时也支持3种集合类型；3.1 Hive 的基本数据类型支持多种不同他度的整形和浮点型数据类型，具体如下（全都是保留字）：tinyint 1byte 有符号整数smalint 2byte有符号号数int 4byte有符号号数bigint 8...
分类：
其他好文 时间：
2015-01-11 20:15:26
阅读次数：
213
2.3 Hive 内部介绍： P44$HIVE_HOME/lib 下的 jar 文件是具体的功能部分；（CLI模块）其它组件，Thrift 服务，可以远程访问其他进程功能；也有使用 JDBC 和 ODBC 访问 Hive 的功能；所有Hive 客户端都需要一个 metastoreservice(元数...
分类：
其他好文 时间：
2015-01-11 17:26:04
阅读次数：
223
问题：
去年用Pig进行了一系列报表和ETL的开发，感觉Pig很不错，没有Hive的娇贵，又比粗糙的MapReduce来的精巧，很称手。新年正好涉及以前的程序调整，借此之机，对Pig写的脚本进行了优化。毕竟，越用越熟，越能发现Pig的魅力。
在整理以前的Pig程序里，发现了一个问题，就是pig没有提取数据集大小的功能，所以每次要取数据集条数的工作，总会遗留下如下代码：
curr...
分类：
系统相关 时间：
2015-01-09 17:24:48
阅读次数：
203
python version 2.6.6 ; pexpect 2.3login方法解读：def login (args, cli_username=None, cli_password=None): # I have to keep a separate list of host names ...
分类：
其他好文 时间：
2015-01-09 16:55:31
阅读次数：
158
本文前提是Hadoop & Java & mysql 数据库，已经安装配置好，并且 环境变量均已经配置到位一、Hive 基本介绍 Hive是Hadoop家族中一款数据仓库产品，Hive最大的特点就是提供了类SQL的语法，封装了底层的MapReduce过程，让有SQL基础的业务人员，也可以直接利用H....
分类：
其他好文 时间：
2015-01-09 14:03:57
阅读次数：
151
