1. Hive自己如何确定reduce数： reduce个数的设定极大影响任务执行效率，不指定reduce个数的情况下，Hive会猜测确定一个reduce个数，基于以下两个设定： hive.exec.reducers.bytes.per.reducer（每个reduce任务处...
分类：
其他好文 时间：
2015-05-06 18:27:44
阅读次数：
210
selectt.idend_usr_id,t.end_user_nameend_usr_name,t.end_user_real_nameend_usr_nknm,t.end_user_passwordend_usr_pswd,t.end_user_birthdayend_usr_bthd,t.mobilemobl_num,t.phonephone_num,t.valid_mobile_phone_numbindg_mobl_num,t.end_user_emailend_usr_email,substr(t..
分类：
数据库 时间：
2015-05-06 18:22:57
阅读次数：
458
SELECT....FROMALEFTSEMIJOINBON(A.col1=B.col2)WHERE..."IfA.col1isofDOUBLEtype,butB.col2isofBIGINT,willprintWARNING:Comparingabigintandadoublemayresultinalossofprecision.Whycan‘tcastcol2todoubleautomatically?>IfA.col1isofDOUBLEtype,>butB.col2isofBIGINT,..
分类：
其他好文 时间：
2015-05-06 18:20:21
阅读次数：
110
1.Hive自己如何确定reduce数：reduce个数的设定极大影响任务执行效率，不指定reduce个数的情况下，Hive会猜测确定一个reduce个数，基于以下两个设定：hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G）hive.exec.reducers.max（每个任务最..
分类：
其他好文 时间：
2015-05-06 18:18:25
阅读次数：
136
1. Hive自己如何确定reduce数：
reduce个数的设定极大影响任务执行效率，不指定reduce个数的情况下，Hive会猜测确定一个reduce个数，基于以下两个设定：
hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G）
hive.exec.reducers.max（每个任务最大的reduce数，...
分类：
其他好文 时间：
2015-05-06 17:58:06
阅读次数：
129
1. Hive自己如何确定reduce数：reduce个数的设定极大影响任务执行效率，不指定reduce个数的情况下，Hive会猜测确定一个reduce个数，基于以下两个设定：hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^...
分类：
其他好文 时间：
2015-05-06 17:05:48
阅读次数：
251
[Author]: kwu -- 创建GZIP压缩格式的HIVE表...
分类：
其他好文 时间：
2015-05-06 15:12:37
阅读次数：
158
在基于Hadoop平台的很多应用场景中，我们需要对数据进行离线和实时分析，离线分析可以很容易地借助于Hive来实现统计分析，但是对于实时的需求Hive就不合适了。实时应用场景可以使用Storm，它是一个实时处理系统，它为实时处理类应用提供了一个计算模型，可以很容易地进行编程处理。为了统一离线和实时计...
分类：
其他好文 时间：
2015-05-06 12:37:56
阅读次数：
181
在使用hive进行数据处理时，经常会用到group by语法，但对分组的操作，hive没有mysql支持得好：
group_concat([DISTINCT] 要连接的字段 [Order BY
ASC/DESC 排序字段] [Separator '分隔符'])
hive只有一个collect_set内置函数，返回去重后的元素数组，但我们可以通过编写UDAF，来实现这些功能。...
分类：
其他好文 时间：
2015-05-05 22:06:53
阅读次数：
524
这几天都在学习Hive，在安装方面花费了不少时间，主要问题集中在：1）创建数据库后创建表不成功，提示Specified key was too long; max key length is 767 bytes 长度的问题。因为用的不是案例的数据库，傻不拉几折腾了好些时间。2）总算创建表成功了...
分类：
其他好文 时间：
2015-05-05 18:19:26
阅读次数：
144
