问题导读
1.hive除了包含用户接口、元数据，还包含哪些内容？
2.hive包含哪些操作？
3.hive数据能否被修改？
4.hive优化有哪些常用方法？
摘要：
Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hi...
分类：
其他好文 时间：
2015-03-12 17:21:26
阅读次数：
207
首先，hive本身有一个UDF，名字是datediff。我们来看一下这个日期差计算的官方描述，（下面这个是怎么出来的）：hive> desc function extended datediff;OKdatediff(date1, date2) - Returns the number of day...
分类：
其他好文 时间：
2015-03-11 23:18:48
阅读次数：
4792
UDAF有两种，第一种是比较简单的形式，利用抽象类UDAF和UDAFEvaluator，暂不做讨论。主要说一下第二种形式，利用接口GenericUDAFResolver2（或者抽象类AbstractGenericUDAFResolver）和抽象类GenericUDAFEvaluator。 这里用A....
分类：
其他好文 时间：
2015-03-11 19:28:09
阅读次数：
283
Hadoop Map/Reduce框架为每一个InputSplit产生一个map任务，而每个InputSplit是由该作业的InputFormat产生的。
然后，框架为这个任务的InputSplit中每个键值对调用一次 map(WritableComparable, Writable, OutputCollector, Reporter)操作。
通过调用 OutputCollector.col...
分类：
其他好文 时间：
2015-03-10 17:22:28
阅读次数：
216
主要错误信息：Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error
in shuffle in fetcher#43
解决办法：限制reduce的shuffle内存使用
hive：set mapreduce.reduce.shuffle.memory.li...
分类：
其他好文 时间：
2015-03-08 15:45:25
阅读次数：
197
#创建表人信息表person(String name,int age)hive> create table person(name STRING,age INT)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ESCAPED BY '\\' STORED...
分类：
其他好文 时间：
2015-03-06 22:02:49
阅读次数：
11717
这个视频介绍了目前非常流行的大数据处理框架Hadoop的Windows Azure上的实现：HDInsight，以及利用MapReduce来对大数据进行分析，利用Hive进行查询，利用客户端PowerBI, PowerQuery对结果进行展示等过程。 讲的通俗易懂，实乃Hadoop大数据处理最佳入...
什么是Phoenix？ Phoenix的团队用了一句话概括Phoenix："We put the SQL back in NoSQL" 意思是：我们把SQL又放回NoSQL去了！这边说的NoSQL专指HBase，意思是可以用SQL语句来查询Hbase，你可能会说：“Hive和Impala也可以啊！”。但是Hive和Impala还可以查询文本文件，Phoenix的特点就是，它只能查Hbase，别的类型都不支持！但是也因为这种专一的态度，让Phoenix在Hbase上查询的性能超过了Hive和Impala！...
分类：
数据库 时间：
2015-03-06 11:23:52
阅读次数：
468
create table user(userid STRING,sex STRING,age INT,career INT,code STRING)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ':';LOAD DATA LOCAL INPATH '/home/h...
分类：
其他好文 时间：
2015-03-05 20:58:42
阅读次数：
200
倾斜的原因： 使map的输出数据更均匀的分布到reduce中去，是我们的最终目标。由于Hash算法的局限性，按key Hash会或多或少的造成数据倾斜。大量经验表明数据倾斜的原因是人为的建表疏忽或业务逻辑可以规避的。解决思路: Hive的执行是分阶段的，map处理数据量的差异取决于上一个stag.....
分类：
其他好文 时间：
2015-03-05 20:54:17
阅读次数：
19465
