通过HQL语句
可以将hive 中表的数据生成到指定的目录。
有时候 我们可以利用hive来生成统计的中间文件（比源文件小的多的）
方法有如下2种：
1.INSERT OVERWRITE LOCAL DIRECTORY
将结果输出到指定的目录：
生成的文件数 和redurcer的数目的一样的
在hive下面执行
INSERT OVERWR...
分类：
其他好文 时间：
2015-01-07 10:59:45
阅读次数：
243
1运行环境说明... 31.1硬软件环境... 31.2机器网络环境... 32书面作业1：搭建Hive环境... 32.1书面作业1内容... 32.2搭建过程... 42.2.1 安装MySql数据库... 42.2.2 安装Hive. 102.2.3 验证部署... 153问题解决... 17...
分类：
数据库 时间：
2015-01-07 09:16:39
阅读次数：
310
今天在使用Hive查询某分析数据最大值的时候，出现了一定的问题，hive中现象如下：
Caused by: java.io.FileNotFoundException://http://slave1:50060/tasklog?attemptid=attempt_201501050454_0006_m_00001_1
然后查看一下jobtracker的日志：
20...
分类：
其他好文 时间：
2015-01-06 15:41:24
阅读次数：
212
1、主要学习hadoop中的四大框架:hdfs、mapreduce、hive、hbase。这四大框架是hadoop最最核心的，学习难度最大的，也是应用最广泛的。2、熟悉了解hadoop基本知识及其所需要的知识例如java基础、linux环境、linux常用命令3、hadoop一些基本知识：hadoo...
分类：
其他好文 时间：
2015-01-06 15:21:31
阅读次数：
187
udf配置VS2010编译器，一种比较简单方法是配置C:\Program Files\ANSYS Inc\v140\fluent\ntbin\win64\udf.bat文件： 1 @echo off 2 rem --- 3 rem MS Visual C++ 4 rem --- 5 set MSVC...
分类：
其他好文 时间：
2015-01-06 13:41:50
阅读次数：
284
以horntonworks给出推荐配置为蓝本，给出一种常见的Hadoop集群上各组件的内存分配方案。方案最右侧一栏是一个8G VM的分配方案，方案预留1-2G的内存给操作系统，分配4G给Yarn/MapReduce，当然也包括了HIVE，剩余的2-3G是在需要使用HBase时预留给HBase的。Configuration FileConfiguration SettingValue Calcula...
分类：
其他好文 时间：
2015-01-06 08:38:43
阅读次数：
160
最近在配合研发做ubd的项目，简单的说就是一张大宽表，有200个字段，而且数据量特别巨大（1亿级别的数据量），传统的数据库是不适合的，因此考虑基于lucene的solr，并且推荐使用solrcloud的功能来做高可用和sharding(后面会更新对solr和lucene的代码学习）。数据从hive计算插入..
分类：
其他好文 时间：
2015-01-05 07:09:26
阅读次数：
291
线上使用cdh4.6.0和hive0.13.1,在hive0.11之后开始支持orcfile,hive0.13.1使用的是pb2.5.0,cdh4.6.0是用的2.4.0a，线上测试orcfile，建表正常，但是插入数据时报错报错：java.lang.VerifyError:classorg.apache.hadoop.hive.ql.io.orc.OrcProto$RowIndexoverridesfinalmethodge..
分类：
其他好文 时间：
2015-01-05 07:07:48
阅读次数：
244
Interesting ReadingsBig Data Benchmark– Benchmark of Redshift, Hive, Shark, Impala and Stiger/Tez.NoSQL Comparison– Cassandra vs MongoDB vs CouchDB vs...
分类：
其他好文 时间：
2015-01-04 11:04:53
阅读次数：
401
Hive安装部署（安装会有版本问题 hadoop1.0版本以上的请安装hive-0.90测试hadoop2.0以上请安装hive-0.12.0或者最新版测试）hive-0.9.0 下载地址：http://pan.baidu.com/s/1rj6f8hive-0.12.0下载地址：http://mir...
分类：
其他好文 时间：
2015-01-02 17:26:11
阅读次数：
307
