1.创建表注意问题指定字符间隔2.装载数据分两种,从本地文件系统装载和从HDFS中装载,本地装载HDFS装载:几个简单的HDFS命令:创建目录:查看目录:hive: use databasename;show tables;show database;
分类:
其他好文 时间:
2015-01-13 19:26:33
阅读次数:
119
简介:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。 1, 适用场景Hive 构建在基于静态批处理的Hadoop 之上,Hadoo...
分类:
其他好文 时间:
2015-01-13 15:56:05
阅读次数:
256
Cloudera Hadoop 4 实战课程(Hadoop 2.0、集群界面化管理、电商在线查询+日志离线分析)适合人群:中级课时数量:42课时用到技术:CDH4,Cloudera Manager,Hive,HBase,Sqoop涉及项目:电商业日志流量分析项目咨询qq:1840215592Clou...
分类:
其他好文 时间:
2015-01-13 14:03:03
阅读次数:
151
Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra,...
分类:
Web程序 时间:
2015-01-13 01:28:23
阅读次数:
278
最近在测试hive0.11hiveserver时遇到的一个关于认证的bug,具体表现:在配置中指定了custom的认证方式时,通过beeline连接hiveserver2,发现连接hang祝hive配置:<property>
<name>hive.server2.authentication</name>a
<value>CUSTOM</value>
&l..
分类:
其他好文 时间:
2015-01-12 06:57:09
阅读次数:
420
大数据实践:ODI和Twitter(二) 在前面的文章中,我们已经使用flume将数据从twitter抓取到Hive中,现在我们来看看ODI(Oracle Data Integrator)如何在HIVE表中进行逆向工程,打开HIVE模型,然后在逆向工程中选择“新的数据存储”及待逆向的对象,如下: ....
分类:
其他好文 时间:
2015-01-12 00:08:37
阅读次数:
249
1.加载JDBC驱动程序 1.在连接数据库之前,首先要加载想要连接的数据库的驱动到JVM,这通过java.lang.Class类的静态方法forName(String className)实现; 2.加载成功后,会将Driver类的实例注册到DriverManager类中;2.提供JDBC连...
分类:
数据库 时间:
2015-01-11 22:48:17
阅读次数:
250
Hive 支持关系型数据库中的大多数据基本数据类型,同时也支持3种集合类型;3.1 Hive 的基本数据类型支持多种不同他度的整形和浮点型数据类型,具体如下(全都是保留字):tinyint 1byte 有符号整数smalint 2byte有符号号数int 4byte有符号号数bigint 8...
分类:
其他好文 时间:
2015-01-11 20:15:26
阅读次数:
213