Hive配置(只需要主机上配置)MySQL数据库安装元数据迁移到mysql主机上先安装mysql，用于存放hadoop元数据Mysql驱动下载一个数据包mysql-connector-java-5.1.18-bin.jar，放到hive的lib目录下，创建mysql用户并赋权创建hive数据库mysql>createdatabasehive;mysql>showdatab..
分类：
其他好文 时间：
2014-10-16 21:35:33
阅读次数：
227
Hadoop日志分析系统启动脚本
#!/bin/bash
#Flume日志数据的根目录
root_path=/flume
#Mapreduce处理后的数据目录
process_path=/process
#hive分区时间
partition=`date "+%Y-%m-%d"`
#获取前一小时的时间:/YYYY-MM-DD/HH
file_path=`date -d "1 hour ...
分类：
其他好文 时间：
2014-10-16 19:41:13
阅读次数：
202
1.Hive row_number() 函数的高级用法 row_num 按照某个字段分区显示第几条数据select imei,ts,fuel_instant,gps_longitude,gps_latitude,row_number() over (PARTITION BY imei ORDER B...
分类：
其他好文 时间：
2014-10-16 12:19:22
阅读次数：
409
在hive的源码中经常可以看到shims相关的类，shims相关类是用来兼容不同的hadoop和hive版本的，以HadoopShims为例org.apache.hadoop.hive.shims.HadoopShims是一个接口，具体的实现类为org.apache.hadoop.hive.shims.Hadoop20Shims
org.apache.hadoop.hive.shims.Hadoop20SShims..
分类：
其他好文 时间：
2014-10-16 04:34:52
阅读次数：
234
1、先决条件要求必须已经安装完成Hadoop，Hadoop的安装在之前的博文《VMware下Hadoop2.4.1完全分布式集群平台安装与设置》有详细介绍过。2、下载Hive安装包当前最新版本为0.13.1，可以到官网下载最新版，下载地址为：http://archive.apache.org/dist/hive/下载完之后，将安装包..
分类：
其他好文 时间：
2014-10-16 04:00:22
阅读次数：
375
一、安装Hive1.下载并解压Hive[root@node1soft]#tar-zxfapache-hive-0.13.1-bin.tar.gz-C/usr/local/
[root@node1soft]#ln-s/usr/local/apache-hive-0.13.1-bin//usr/local/hive
[root@node1soft]#2.配置hive环境变量[root@node1soft]#cat/etc/profile.d/hive.sh
HIVE_HOME=/us..
分类：
其他好文 时间：
2014-10-15 14:36:51
阅读次数：
260
Create EXTERNAL table obd_data_2( imei string, ts timestamp, fuel_instant float, gps_speed float, gps_status string, gps_longitude float, ...
分类：
其他好文 时间：
2014-10-15 12:25:10
阅读次数：
231
最近在debughive的一个bug,之前都是使用打印日志来跟踪源码，这种方式效率比较低（每次更改了源码都要重新编译并替换线上的jar包）,java的应用可以支持remotedebug的，hive也不例外，主要是通过hive--debug来实现.在运行hive--debug时遇到如下问题：ERROR:CannotloadthisJVMTIa..
分类：
其他好文 时间：
2014-10-15 04:36:00
阅读次数：
209
错误一：
Hive的where中不能用别名，
错误二：
hive的groupby中不能用自定义函数，否则报错（用嵌套select代替）
错误三：
执行：$ ./hive_game_operationstatis5.sh
报错信息如下：
./hive_game_operationstatis5.sh:line 11: [: missing `]'
./hive_ga...
分类：
数据库 时间：
2014-10-14 22:10:29
阅读次数：
240
