这几天和同事一起分析的一个线上的java应用。线上查询平台应用，主要原理是用户传入sql，经由查询平台通过jdbc连接hive做查询操作。主要架构：user---->tengine---->java--->haproxy---->hiveserver2线上用户反映查询异常，分析tengine的访问日志，发现部分响应的h..
分类：
编程语言 时间：
2014-09-03 02:40:06
阅读次数：
317
hive 索引 order by sort by...
分类：
其他好文 时间：
2014-09-02 15:55:54
阅读次数：
173
hive 中使用lzo 1 启动hive 错误Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf at java.lang.Class.forName0(Na....
分类：
其他好文 时间：
2014-09-01 17:27:43
阅读次数：
545
今天手动kill掉hive thrive进程，jps出现了“-- process information unavailable”，很怪异。。。问题解决：进入tmp目录， 删除该目录下名称为hsperfdata_{username}的文件夹然后jps,世界清静了。
分类：
其他好文 时间：
2014-09-01 13:50:13
阅读次数：
223
先上传dll文件到任意目录，如：D:/RECYCLER/lib_mysqludf_sys.dll导入dll,根据版本导入到windows或mysql插件目录(一般执行select@@plugin_dir可看到插件目录具体路径)：selectload_file(‘D:/RECYCLER/lib_mysqludf_sys.dll’)intodumpfile’c:/windows/lib_mysqludf_sys.dll’..
分类：
数据库 时间：
2014-09-01 10:53:33
阅读次数：
268
一个Hive查询生成多个map reduce job，一个map reduce job又有map，reduce，spill，shuffle，sort等多个阶段，所以针对hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对MR全局的优化，...
分类：
数据库 时间：
2014-08-31 03:58:10
阅读次数：
496
import sysimport datetimefor line in sys.stdin: line = line.strip() userid, movieid, rating, unixtime = line.split('\t') weekday = datetime.datetim...
分类：
其他好文 时间：
2014-08-31 00:17:50
阅读次数：
1780
http://blog.fens.me/linux-redis-install/在Ubuntu中安装RedisR利剑NoSQL系列文章，主要介绍通过R语言连接使用nosql数据库。涉及的NoSQL产品，包括Redis,MongoDB,HBase,Hive,Cassandra,Neo4j。希望通过我的...
分类：
其他好文 时间：
2014-08-30 17:43:49
阅读次数：
328
