hive 中使用lzo 1 启动hive 错误Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf at java.lang.Class.forName0(Na....
分类：
其他好文 时间：
2014-09-01 17:27:43
阅读次数：
545
今天手动kill掉hive thrive进程，jps出现了“-- process information unavailable”，很怪异。。。问题解决：进入tmp目录， 删除该目录下名称为hsperfdata_{username}的文件夹然后jps,世界清静了。
分类：
其他好文 时间：
2014-09-01 13:50:13
阅读次数：
223
一个Hive查询生成多个map reduce job，一个map reduce job又有map，reduce，spill，shuffle，sort等多个阶段，所以针对hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对MR全局的优化，...
分类：
数据库 时间：
2014-08-31 03:58:10
阅读次数：
496
import sysimport datetimefor line in sys.stdin: line = line.strip() userid, movieid, rating, unixtime = line.split('\t') weekday = datetime.datetim...
分类：
其他好文 时间：
2014-08-31 00:17:50
阅读次数：
1780
http://blog.fens.me/linux-redis-install/在Ubuntu中安装RedisR利剑NoSQL系列文章，主要介绍通过R语言连接使用nosql数据库。涉及的NoSQL产品，包括Redis,MongoDB,HBase,Hive,Cassandra,Neo4j。希望通过我的...
分类：
其他好文 时间：
2014-08-30 17:43:49
阅读次数：
328
select min(call_log), a.mail_subject from (select mail_to,mail_subject from dw_user_deviler_201408 where log_date>=20140825 and mail_subject not ...
分类：
其他好文 时间：
2014-08-29 15:54:38
阅读次数：
177
select regexp_extract(a.col2,'(phonenum=\")(.*?)\"',2) user_device, regexp_extract(a.col13,'(imsicode=\")(.*?)\"',2) imsi, regexp_extract(a.col12,...
分类：
其他好文 时间：
2014-08-29 13:00:07
阅读次数：
205
项目背景： 本公司需要处理一份数据，这份数据有这样的特点，一行数据长度是1924个，一共有88个字段，且知道每个字段按顺序的长度。但是如果直接创建表的话也是行的，只不过写很复杂的正则表达式。而且效率方面可...
分类：
其他好文 时间：
2014-08-29 11:17:58
阅读次数：
286
由于 hive 与传统关系型数据库面对的业务场景及底层技术架构都有着很大差异，因此，传统数据库领域的一些技能放到 Hive 中可能已不再适用。关于 hive 的优化与原理、应用的文章，前面也陆陆续续的介绍了一些，但大...
分类：
其他好文 时间：
2014-08-29 05:13:27
阅读次数：
293
