一、??? 控制hive任务中的map数: 1.??? 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hiv...
分类：
其他好文 时间：
2015-06-08 17:38:16
阅读次数：
2839
CSVhive-0.14.0内置支持CSV Serde，以前的版本需要引入第三方库的jar包（http://https://github.com/ogrodnek/csv-serde）现在有个文本文件a.csv（从数据库中导出的数据通常都是这种格式），里面的内容如下：[hive@vm1 ~]$ mo...
分类：
其他好文 时间：
2015-06-08 14:59:56
阅读次数：
144
order by： order by是全局排序，受hive.mapred.mode的影响。 使用orderby有一些限制： 1、在严格模式下（hive.mapred.mode=strict），orderby必须跟limit一起使用（？）。 原因：在执行orderby时，hive使用一个re...
分类：
编程语言 时间：
2015-06-08 14:56:27
阅读次数：
161
select 'hello', x from dual lateral view explode(array(1,2,3,4,5)) vt as x结果是：hello 1hello 2hello 3hello 4hello 5来自为知笔记(Wiz)
分类：
其他好文 时间：
2015-06-08 14:55:58
阅读次数：
87
Hive + zookeeper 可以支持锁功能锁有两种：共享锁、独占锁，Hive开启并发功能的时候自动开启锁功能1）查询操作使用共享锁，共享锁是可以多重、并发使用的2）修改表操作使用独占锁，它会阻止其他的查询、修改操作3）可以对分区使用锁。1、修改hive-site.xml，配置如下： hive....
分类：
其他好文 时间：
2015-06-08 14:54:33
阅读次数：
942
SequenceFile是使用二进制保存数据，是可以压缩的，并且压缩后的数据可被分割，可以供mapreduce处理。下面的实例使用SequenceFile保存Hive表的数据，并且使用了压缩。set hive.exec.compress.output=true; #压缩mapreduce输出数据se...
分类：
其他好文 时间：
2015-06-08 14:54:05
阅读次数：
104
1、hive -h 显示帮助2、hive -h hiveserverhost -p port 连接远程hive服务器3、hive --define a=1 --hivevar b=1 --hiveconf hive.cli.print.current.db=true 见《Hive设置变量》4、hiv...
分类：
其他好文 时间：
2015-06-08 14:52:26
阅读次数：
129
1、配置hive在HDFS上的根目录位置 hive.metastore.warehouse.dir /hive2、配置derby数据库文件的位置（固定derby数据的位置） javax.jdo.option.ConnectionURL jdbc:derby:;databaseName=/usr/lo...
分类：
其他好文 时间：
2015-06-08 14:49:04
阅读次数：
163
create [external] table t1(id int, value string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties('hbase.column.mappi...
分类：
其他好文 时间：
2015-06-08 14:49:01
阅读次数：
91
hive --define --hivevar --hiveconfset1、hivevar命名空间用户自定义变量hive -d name=zhangsanhive --define name=zhangsanhive -d a=1 -d b=2效果跟hivevar是一样的hive --hiveva...
分类：
其他好文 时间：
2015-06-08 14:48:22
阅读次数：
172
