一、什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无..
分类：
其他好文 时间：
2015-05-11 18:20:38
阅读次数：
171
一、 什么是Hive
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。
...
分类：
其他好文 时间：
2015-05-11 14:46:41
阅读次数：
115
[Author]: kwu -- 每日定时导入hive数据仓库的自动化脚本...
分类：
其他好文 时间：
2015-05-11 13:06:06
阅读次数：
419
CLUSTERED BY 将数据分组以进入不同的bucket中 INTO num_buckets BUCKETS]SKEWED BY 对于倾斜的数据，指定在哪些值倾斜，从而做优化。http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.9.1/bk...
分类：
其他好文 时间：
2015-05-11 12:57:29
阅读次数：
141
1. Hadoop的几个组件MapReduce：将计算打碎，将结果组合Hive：将SQL语句封装Hbase:key-value表，value存储在HDFS中HDFS：分布式数据存储，将value存在不同的主机，并做多份拷贝Zookeeper：各个service的分布式配置，同步配置，并可以管理ser...
分类：
其他好文 时间：
2015-05-11 12:22:05
阅读次数：
121
前言hive0.13开始增加了permanentfunction；允许用户自定义的function无需往.hiverc文件中添加createtemporaryfunction,提高hive的启动时间（无需预先执行创建临时函数命令）;并且可以将udfjar包放置于hdfs上，方便管理，无需向hiveclient端推送udf；但是permanentfunction有一..
分类：
数据库 时间：
2015-05-10 20:45:11
阅读次数：
235
首先我们需要打开hiveserver服务：hive --service hiveserver
然后我们和操作普通数据库一样，先加载驱动，然后建立连接，接着创建一个statement，然后执行查询，然会结果集。代码如下（一定要写对sql语句，要仔细，下面的需要注意的地方我已经标示出来了：）
package playHive;
import java.sql.Connection;
import...
分类：
数据库 时间：
2015-05-10 17:18:04
阅读次数：
200
hive SymlinkTextInputFormat介绍及用法...
分类：
其他好文 时间：
2015-05-10 09:44:21
阅读次数：
128
环境：hive:apache-hive-1.1.0hadoop:hadoop-2.5.0-cdh5.3.2hive元数据以及stats使用mysql进行存储。hivestats相关参数如下：hive.stats.autogather：在insertoverwrite命令时自动收集统计信息，默认开启true；设置为truehive.stats.dbclass：存储hive临时统计信息的数据库，默..
分类：
Web程序 时间：
2015-05-10 01:08:54
阅读次数：
464
我们的输入文件 hello0, 内容如下:xiaowang 28 shanghai@_@zhangsan 38 beijing@_@someone 100 unknown逻辑上有3条记录, 它们以@_@分隔. 我们将分别用旧版MapReduce API 和新版MapReduce API实现自定义Te...
