大数据的生态系统图Thinking in BigData（八）大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解浅谈Apache Spark的6个发光点大数据，首先你要能存的下大数据。传统的文件系统是单机的，不能横跨不同的机器。HDFS（Hadoop Distr...
分类：
其他好文 时间：
2015-04-23 13:09:49
阅读次数：
176
Pig一种操作hadoop的轻量级脚本语言，最初又雅虎公司推出，不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开源贡献到开源社区由所有爱好者来维护。不过现在还是有些公司在用，不过我认为与其使用pig不如使用hive。：）Pig是一种数据流语言，用来快速轻松的处理巨大的数据。Pig包...
分类：
其他好文 时间：
2015-04-23 12:56:47
阅读次数：
137
Hive是一个基于Hadoop的数据仓库平台。通过hive，我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言：HQL，能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。 Hive是Facebook 2008年...
分类：
数据库 时间：
2015-04-22 18:53:13
阅读次数：
247
beeline -f 执行sql文件，如果报“Error: Error while compiling statement: FAILED: ParseException line 1:814 cannot recognize input near ‘;’ ’ in expression specification (state=42000,code=40000)”错误。可能是因为“；”后面有空格...
分类：
其他好文 时间：
2015-04-22 18:38:45
阅读次数：
5928
不要使用local关键字 load data local inpath 是不行
beeline & 方式存在问题,是beeline得bug ,使用nohup sh xxx.sh & 也会出错
beeline -f 执行sql文件，如果报“Error: Error while compiling statement: FAILED: ParseException line 1:814 c...
分类：
Web程序 时间：
2015-04-22 18:38:21
阅读次数：
185
目录
一、关系运算：... 4
1. 等值比较: =. 4
2. 不等值比较:
3. 小于比较:
4. 小于等于比较:
5. 大于比较: >. 5
6. 大于等于比较: >=. 5
7. 空值判断: IS NULL. 5
8. 非空判断: IS NOT NULL. 6
9. LIKE比较: LIKE. 6
10. JAVA的L...
分类：
数据库 时间：
2015-04-22 15:16:19
阅读次数：
425
（1）hive 三种启动方式及用途，本文主要关注通过hiveserver（可jdbc连接）的方式启动 ?1， hive??命令行模式，直接输入/hive/bin/hive的执行程序，或者输入 hive --service cli ? ? ? ?用于linux平台命令...
分类：
Web程序 时间：
2015-04-22 14:05:20
阅读次数：
189
最近在做一个交通流的数据分析，需求是对于海量的城市交通数据，需要使用MapReduce清洗后导入到HBase中存储，然后使用Hive外部表关联HBase，对HBase中数据进行查询、统计分析，将分析结果保存在一张Hive表中，最后使用Sqoop将该表中数据导入到MySQL中。整个流程大概如下：
下面我主要介绍Hive关联HBase表——Sqoop导出Hive表到MySQL这...
分类：
数据库 时间：
2015-04-22 11:47:45
阅读次数：
287
配置好hive后，输入hive命令启动时会出现许多INFO和WARN信息。如下：
15/04/21 11:31:45 INFO Configuration.deprecation: mapred.input.dir.recursive is deprecated. Instead, use mapreduce.input.fileinputformat.input.dir.recursive
15/04/21 11:31:45 INFO Configuration.deprecation: mapred.m...
分类：
其他好文 时间：
2015-04-21 14:45:42
阅读次数：
540
在CM配置管理中的"hive-site.xml 的 Hive 客户端高级配置代码段（安全阀）""仅适用于高级使用，逐个将字符串插入hive-site.xml的客户端配置。"举的是hive的例子，其它项目中也是在类似字段添加属性。 添加个截图吧，截图如下：
分类：
其他好文 时间：
2015-04-21 12:45:19
阅读次数：
141
