在上一篇的CliDriver类中介绍了CliDriver类会引用到CommandProcessor相关类，主要是根据命令来判断具体实现类,比如通过本地的hivecli启动时，运行hive的命令（非list/source/shell命令等）时在processCmd方法中有如下实现:try{
CommandProcessorproc=CommandProcessorFactory.g..
分类：
其他好文 时间：
2014-10-23 06:56:00
阅读次数：
254
本篇为安装篇较简单：
前提：
1: 安装了hadoop-1.0.4（1.0.3也可以）正常运行
2:安装了hbase-0.94.3, 正常运行
接下来，安装Hive，基于已经安装好的hadoop，步骤如下：
1：下载
从http://hive.apache.org/下载hive-0.9.0/
创建目录
/hive
将文件hive-0.9.0保存在/hive下
...
分类：
其他好文 时间：
2014-10-22 18:17:21
阅读次数：
197
日志记录了程序运行的过程，是一种查找问题的利器。
Hive中的日志分为两种
1. 系统日志，记录了hive的运行情况，错误状况。
2. Job 日志，记录了Hive 中job的执行的历史过程。
系统日志存储在什么地方呢 ？
在hive/conf/ hive-log4j.properties 文件中记录了Hive日志的存储情况，
默认的存储情况：
hive.root.log...
分类：
其他好文 时间：
2014-10-22 18:15:13
阅读次数：
141
hive本身支持的子查询非常有限，Hive不支持where子句中的子查询，只允许子查询在from中出现错误写法：insert into table branch_atmzc_sumSelect XT_OP_TRL, SA_TX_DT,"取款-存款",b.cr_tx_amt- a.cr_tx_amt....
分类：
其他好文 时间：
2014-10-22 10:55:14
阅读次数：
1598
前面两章花了不少篇幅介绍了SparkSQL的运行过程，很多读者还是觉得其中的概念很抽象，比如Unresolved LogicPlan、LogicPlan、PhysicalPlan是长得什么样子，没点印象，只知道名词，感觉很缥缈。本章就着重介绍一个工具hive/console，来加深读者对sparkSQL的运行计划的理解。
1：hive/console安装
spa...
分类：
数据库 时间：
2014-10-22 10:11:17
阅读次数：
430
Sqoop即 SQL to Hadoop ，是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具，充分利用MapReduce并行特点以批处理的方式加快数据传输，发展至今主要演化了二大版本，Sqoop1和Sqoop2。
Sqoop工具是hadoop下连接关系型数据库和Hadoop的桥梁，支持关系型数据库和hive、hdfs，hbase之间数据的相互导入，可以使用全表导入和增量导入。
那么为什么选择Sqoop呢？
高效可控的利用资源，任务并行度，超时时间。 数据类型映射与转化，可自动进行，用户...
分类：
其他好文 时间：
2014-10-21 19:42:33
阅读次数：
651
今天早上来了，发现我们所有服务器上的hive来客户端都不可用了。最后发现 mysql数据库，不知道为什么多了一条数据： ? mysql> select * from version;? +--------+----------------+------------------+ | VER...
分类：
其他好文 时间：
2014-10-17 15:47:47
阅读次数：
214
Hive配置(只需要主机上配置)MySQL数据库安装元数据迁移到mysql主机上先安装mysql，用于存放hadoop元数据Mysql驱动下载一个数据包mysql-connector-java-5.1.18-bin.jar，放到hive的lib目录下，创建mysql用户并赋权创建hive数据库mysql>createdatabasehive;mysql>showdatab..
分类：
其他好文 时间：
2014-10-16 21:35:33
阅读次数：
227
Hadoop日志分析系统启动脚本
#!/bin/bash
#Flume日志数据的根目录
root_path=/flume
#Mapreduce处理后的数据目录
process_path=/process
#hive分区时间
partition=`date "+%Y-%m-%d"`
#获取前一小时的时间:/YYYY-MM-DD/HH
file_path=`date -d "1 hour ...
分类：
其他好文 时间：
2014-10-16 19:41:13
阅读次数：
202
1.Hive row_number() 函数的高级用法 row_num 按照某个字段分区显示第几条数据select imei,ts,fuel_instant,gps_longitude,gps_latitude,row_number() over (PARTITION BY imei ORDER B...
分类：
其他好文 时间：
2014-10-16 12:19:22
阅读次数：
409
