> select p.dt, p.cookie_qunar_global, p.refer_domain, p.kwid, p.query_word, p,traffic_type--, p.page_type > from tmp_vincent_dw_beacon_path_data_0...
分类：
其他好文 时间：
2014-09-22 18:13:52
阅读次数：
14385
1 reduce side join在map端加上标记, 在reduce容器保存，然后作笛卡尔积缺点: 有可能oom2 map side join 2.1 利用内存和分布式缓存，也有oom风险2.2 自己的想法，参考hive桶的思路, 第一次MR，将两个文件相同的方法分文件输出并打上标记，排序输出，...
分类：
其他好文 时间：
2014-09-20 21:12:39
阅读次数：
262
前期准备(版本匹配)：Hadoop 2.x is faster and includes features, such as short-circuit reads, which will help improve your HBase random read profile. Hadoop 2.x...
分类：
其他好文 时间：
2014-09-19 22:22:26
阅读次数：
368
（1）建student & student1 表：（hive 托管）create table student(id INT, age INT, name STRING)partitioned by(stat_date STRING) clustered by(id) sorted by(age) ....
分类：
其他好文 时间：
2014-09-19 19:09:15
阅读次数：
483
MongoDB 集群搭建（主从复制、副本及）（五）...
分类：
数据库 时间：
2014-09-18 18:53:34
阅读次数：
282
Hadoop大数据零基础高端实战培训系列配文本挖掘项目大数据Hadoop实战视频教程就从最基础的Java语法、数据库、Linux讲起到深入Hadoop大数据技术所必须的所有知识，设计Hadoop生态圈所有常用组件，包括但不限于：Greenplum数据库、HBase、Hive、Pig、ZooKeepe...
分类：
其他好文 时间：
2014-09-18 14:33:03
阅读次数：
267
之前同事处理的一个case，记录下hive升级到0.13之后，在创建表时，发现报锁竞争的问题，信息如下：conflictinglockpresentforvipdwmodeEXCLUSIVEhive中有锁是没有问题，但是这里的锁却是数据库层面的锁！而且是排他锁！这个锁的粒度就太大了，这个锁会导致所有的关于这个库的hi..
分类：
数据库 时间：
2014-09-18 03:10:33
阅读次数：
323
一、建表的时候要指明分隔符? hive建表时默认的分隔符是‘\001‘,若在建表的时候没有指明分隔符，load文件的时候文件的分隔符需要是‘\001‘的， 若文件分隔符不是‘\001‘，程序不会报错，但表查询的结果会全部为‘NU...
分类：
其他好文 时间：
2014-09-16 19:16:21
阅读次数：
453
