近日由于工作所需，需要使用到Pig来分析线上的搜索日志数据，散仙本打算使用hive来分析的，但由于种种原因，没有用成，而Pig（pig0.12-cdh）散仙一直没有接触过，所以只能临阵磨枪了，花了两天时间，大致看完了pig官网的文档，在看文档期间，也是边实战边学习，这样以来，对pig..
分类：
Web程序 时间：
2014-12-31 16:32:54
阅读次数：
217
近日由于工作所需，需要使用到Pig来分析线上的搜索日志数据，散仙本打算使用hive来分析的，但由于种种原因，没有用成，而Pig（pig0.12-cdh）散仙一直没有接触过，所以只能临阵磨枪了，花了两天时间，大致看完了pig官网的文档，在看文档期间，也是边实战边学习，这样以来，对pig的学习，会更加容...
分类：
Web程序 时间：
2014-12-31 14:23:46
阅读次数：
300
2015年其实才真正算的上是我的大数据元年，我需要在这一年中为自己的职业发展打好地基，所以需要做到但不限于：1、熟练使用mr,yarn,spark(spark sql,spark streaming,ml....),hive,mahout,hbase进行开发，并熟悉调优，及其中的执行原理。2、阅读f...
分类：
其他好文 时间：
2014-12-31 07:35:26
阅读次数：
219
熟悉hive的人都知道，在原生版本中，目前并没有返回星期几的函数。为了解决这个问题，除了利用java自己编写udf外，也可以利用现有hive函数实现。...
分类：
其他好文 时间：
2014-12-30 17:07:30
阅读次数：
500
1.概要我打算分享一下，我开发Hadoop的一些心得，对于即将步入Hadoop行业的童鞋，希望我整理的这些博文对您有帮助，我打算分为以下几部分来描述。2.步骤 注：点击链接可直接跳到指定位置（1）Hadoop社区版集群的搭建（2）hive的安装部署（3）sqoop的安装部署（4）hbase和zook...
分类：
其他好文 时间：
2014-12-30 14:57:18
阅读次数：
162
1、下载并编译spark源码下载sparkhttp://spark.apache.org/downloads.html我下载的是1.2.0版本解压并编译，在编译前，可以根据自己机器的环境修改相应的pom.xml配置，我的环境是hadoop2.4.1修改个小版本号即可，编译包括了对hive、yarn、ganglia等的支持tarxzf~/source/spark-1..
分类：
其他好文 时间：
2014-12-29 18:36:06
阅读次数：
5133
一. Hive安装
Hive只在一个节点上安装即可
1. 上传tar包
2. 解压 tar -zxvf hive-0.9.0.tar.gz -C /cloud/
3. 配置mysql metastore（切换到root用户）
3.1 配置HIVE_HOME环境变量
3.2 安装mysql
查询以前安装的mysql相关包: rpm -qa | grep mysql
暴力删除这个包...
分类：
其他好文 时间：
2014-12-27 21:49:21
阅读次数：
181
hive与hbase数据类型对应关系
当hbase中double，int 类型以byte方式存储时，用字符串取出来必然是乱码。
在hivd与hbase整合时也遇到这个问题：做法是：#b
1.加#b
CREATE EXTERNAL TABLE hivebig (key string,CUST_NAME string,PHONE_NUM int,BRD_WORK_FLUX double)
...
分类：
其他好文 时间：
2014-12-26 06:15:48
阅读次数：
378
此篇文章基于hive官方英文文档翻译，有些不好理解的地方加入了我个人的理解，官方的英文地址为：
1.https://cwiki.apache.org/confluence/display/Hive/StorageHandlers
2.https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration
一 存...
分类：
其他好文 时间：
2014-12-26 06:14:31
阅读次数：
324
有时候，某些非常规的操作会导致将要建立数据库/表与保存在metastore里的数据库/表的信息发生冲突，导致无法建立相应的数据库/表。举个例子：如果没有使用常规的drop database/table去删除一个数据库或是表，而是直接在hdfs上删除了相应的文件夹或文件，比如：/user/hive/warehouse/xxxxx.db,然后当你重新试图使用建库脚本建库时，有可能会报出：FAILED:...
分类：
移动开发 时间：
2014-12-24 21:33:58
阅读次数：
422
