一. Hive安装
Hive只在一个节点上安装即可
1. 上传tar包
2. 解压 tar -zxvf hive-0.9.0.tar.gz -C /cloud/
3. 配置mysql metastore(切换到root用户)
3.1 配置HIVE_HOME环境变量
3.2 安装mysql
查询以前安装的mysql相关包: rpm -qa | grep mysql
暴力删除这个包...
分类:
其他好文 时间:
2014-12-27 21:49:21
阅读次数:
181
hive与hbase数据类型对应关系
当hbase中double,int 类型以byte方式存储时,用字符串取出来必然是乱码。
在hivd与hbase整合时也遇到这个问题:做法是:#b
1.加#b
CREATE EXTERNAL TABLE hivebig (key string,CUST_NAME string,PHONE_NUM int,BRD_WORK_FLUX double)
...
分类:
其他好文 时间:
2014-12-26 06:15:48
阅读次数:
378
此篇文章基于hive官方英文文档翻译,有些不好理解的地方加入了我个人的理解,官方的英文地址为:
1.https://cwiki.apache.org/confluence/display/Hive/StorageHandlers
2.https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration
一 存...
分类:
其他好文 时间:
2014-12-26 06:14:31
阅读次数:
324
有时候,某些非常规的操作会导致将要建立数据库/表与保存在metastore里的数据库/表的信息发生冲突,导致无法建立相应的数据库/表。举个例子:如果没有使用常规的drop database/table去删除一个数据库或是表,而是直接在hdfs上删除了相应的文件夹或文件,比如:/user/hive/warehouse/xxxxx.db,然后当你重新试图使用建库脚本建库时,有可能会报出:FAILED:...
分类:
移动开发 时间:
2014-12-24 21:33:58
阅读次数:
422
Hive介绍http://www.cnblogs.com/sharpxiajun/archive/2013/06/02/3114180.htmlHive的数据类型和数据模型http://www.cnblogs.com/sharpxiajun/archive/2013/06/03/3114560.ht...
分类:
数据库 时间:
2014-12-24 19:59:40
阅读次数:
182
题记: 好吧玩起来命令就是没有 写代码舒服那么一点点,但是我们一点都不能懈怠啊, hive 操作的文件需要从这里加载 与linux 的命令相似, 命令行开头为 hadoop fs -(破折号) ls / 列出文件或者目录 cat hadoop f...
分类:
其他好文 时间:
2014-12-23 21:21:47
阅读次数:
177
线上一个项目需要操作hdfs和hive,在使用时报如下错误:java.lang.UnsupportedOperationException:Thisissupposedtobeoverriddenbysubclasses.
atcom.google.protobuf.GeneratedMessage.getUnknownFields(GeneratedMessage.java:180)
atorg.apache.hadoop.hdfs.protocol.proto...
分类:
其他好文 时间:
2014-12-23 06:51:06
阅读次数:
258
一: Hive基本概念 1. Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapRe...
分类:
其他好文 时间:
2014-12-23 00:16:50
阅读次数:
224
Hive使用HDFS目录数据创建Hive表分区...
分类:
其他好文 时间:
2014-12-22 18:02:19
阅读次数:
152
hadoop是有apache基金会所开发的分布式系统基础架构,其主要提供了两方面的功能:分布式存储和分布式计算。 其中分布式存储是分布式计算的基础,在hadoop的实现里面,提供了分布式存储的接口,并自己实现了一个分布式存储的实现即HDFS,但并不代表 hadoop只支持HDFS这一中实现,其同时支...
分类:
其他好文 时间:
2014-12-22 10:47:29
阅读次数:
164