Hive是一个基于Hadoop的数据仓库平台。通过hive，我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言：HQL，能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。 Hive是Facebook 2008年...
分类：
数据库 时间：
2015-04-22 18:53:13
阅读次数：
247
beeline -f 执行sql文件，如果报“Error: Error while compiling statement: FAILED: ParseException line 1:814 cannot recognize input near ‘;’ ’ in expression specification (state=42000,code=40000)”错误。可能是因为“；”后面有空格...
分类：
其他好文 时间：
2015-04-22 18:38:45
阅读次数：
5928
不要使用local关键字 load data local inpath 是不行
beeline & 方式存在问题,是beeline得bug ,使用nohup sh xxx.sh & 也会出错
beeline -f 执行sql文件，如果报“Error: Error while compiling statement: FAILED: ParseException line 1:814 c...
分类：
Web程序 时间：
2015-04-22 18:38:21
阅读次数：
185
目录
一、关系运算：... 4
1. 等值比较: =. 4
2. 不等值比较:
3. 小于比较:
4. 小于等于比较:
5. 大于比较: >. 5
6. 大于等于比较: >=. 5
7. 空值判断: IS NULL. 5
8. 非空判断: IS NOT NULL. 6
9. LIKE比较: LIKE. 6
10. JAVA的L...
分类：
数据库 时间：
2015-04-22 15:16:19
阅读次数：
425
（1）hive 三种启动方式及用途，本文主要关注通过hiveserver（可jdbc连接）的方式启动 ?1， hive??命令行模式，直接输入/hive/bin/hive的执行程序，或者输入 hive --service cli ? ? ? ?用于linux平台命令...
分类：
Web程序 时间：
2015-04-22 14:05:20
阅读次数：
189
最近在做一个交通流的数据分析，需求是对于海量的城市交通数据，需要使用MapReduce清洗后导入到HBase中存储，然后使用Hive外部表关联HBase，对HBase中数据进行查询、统计分析，将分析结果保存在一张Hive表中，最后使用Sqoop将该表中数据导入到MySQL中。整个流程大概如下：
下面我主要介绍Hive关联HBase表——Sqoop导出Hive表到MySQL这...
分类：
数据库 时间：
2015-04-22 11:47:45
阅读次数：
287
配置好hive后，输入hive命令启动时会出现许多INFO和WARN信息。如下：
15/04/21 11:31:45 INFO Configuration.deprecation: mapred.input.dir.recursive is deprecated. Instead, use mapreduce.input.fileinputformat.input.dir.recursive
15/04/21 11:31:45 INFO Configuration.deprecation: mapred.m...
分类：
其他好文 时间：
2015-04-21 14:45:42
阅读次数：
540
在CM配置管理中的"hive-site.xml 的 Hive 客户端高级配置代码段（安全阀）""仅适用于高级使用，逐个将字符串插入hive-site.xml的客户端配置。"举的是hive的例子，其它项目中也是在类似字段添加属性。 添加个截图吧，截图如下：
分类：
其他好文 时间：
2015-04-21 12:45:19
阅读次数：
141
项目中需要比对两种方法计算生成的数据情况，需要做两件事情，比对生成的中间表的行数是否相同，比对最后一张表的数据是否一致。 在获取表的数据量是一条一条地使用select count(*) from table来获取等待结果比较烦人，所以就写了一个bash shell来做这件事。 但一开始是这样的： f...
分类：
其他好文 时间：
2015-04-21 08:18:44
阅读次数：
157
详细步骤
一 、简介
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
Hive与HBase的整合功能的实现是利用两者本身...
分类：
其他好文 时间：
2015-04-20 17:04:29
阅读次数：
198
