如何合并小文件，减少map数？假设一个SQL任务：Selectcount(1)frompopt_tbaccountcopy_meswherept=‘2012-07-04’;该任务的inputdir/group/p_sdo_data/p_sdo_data_etl/pt/popt_tbaccountcopy_mes/pt=2012-07-04共有194个文件，其中很多是远远小于128m的小文件，总大小9G，正常..
分类：
其他好文 时间：
2015-05-05 16:48:39
阅读次数：
123
如何合并小文件，减少map数？
假设一个SQL任务：
Select count(1) from popt_tbaccountcopy_mes where pt = ‘2012-07-04’;
该任务的inputdir/group/p_sdo_data/p_sdo_data_etl/pt/popt_tbaccountcopy_mes/pt=2012-07-04
共有194个文件，其中很多是远...
分类：
其他好文 时间：
2015-05-05 16:36:33
阅读次数：
248
hive里分了create table和create external table，external table的好处就是表结构和数据是解绑的，删除表并不会删除数据，表相当于就是定义了去解析相对应的文件时的规范而已。一个比较常见的应用场景是将网站的用户浏览数据建立一个外表，然后按天做分区加快查找.....
分类：
其他好文 时间：
2015-05-04 22:06:08
阅读次数：
131
1.通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M,可在hive中通过setdfs.block.size;命令查看到，该参数不能自定义修改)；2.举例：a)假设input目录下有1个文件a,大小为78..
分类：
其他好文 时间：
2015-05-04 20:30:32
阅读次数：
225
使用hive作为mondrian数据源，实现基于hadoop的数据分析...
分类：
其他好文 时间：
2015-05-04 18:06:14
阅读次数：
1025
1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该...
分类：
其他好文 时间：
2015-05-04 16:01:39
阅读次数：
150
一、简介
作为企业Hadoop应用的核心产品，Hive承载着FaceBook、淘宝等大佬 95%以上的离线统计，很多企业里的离线统计甚至全由Hive完成，如我所在的电商。Hive在企业云计算平台发挥的作用和影响愈来愈大，如何优化提速已经显得至关重要。好的架构胜过任何优化，好的Hql同样会效率大增，修改Hive参数，有时也能起到很好的效果。有了瓶颈才需要优化
1、Hadoop的主要性能瓶颈是IO负...
分类：
其他好文 时间：
2015-05-04 11:55:32
阅读次数：
158
转自：http://blog.csdn.net/gexiaobaohelloworld/article/details/7719163入口：bin/hive脚本中，环境检查后执行ext中的cli.sh，进入主类：CliDriver.main。CliDriver.main:进入cli.processL...
分类：
其他好文 时间：
2015-05-02 17:59:50
阅读次数：
157
配置hiveserver2，基于kerberos认证，使用0.14.0版本，记录中间遇到的问题和访问方式...
分类：
其他好文 时间：
2015-05-01 20:00:44
阅读次数：
277
1、hive开放jdbc接口，开发需要导入jar如下commons-logging-1.0.4.jarhadoop-common-2.6.0.jarhive_exec.jarhive_jdbc.jarhive_metastore.jarhive_service.jarhttpclient-4.2.5...
分类：
数据库 时间：
2015-04-30 17:41:03
阅读次数：
520
