说明：Hive中int , float , double这些数值类型在存储大额度数字时，在前端展现上总是使用科学计数法来表示，
这样搞的挺烦。举例说明
样例数据：
select lte_drop_rate from t_table limit 10;
输出结果：
5.0E-4
7.1E-4
5.41E-4
...
...
处理方案：
select
(case
...
分类：
其他好文 时间：
2015-06-27 10:06:40
阅读次数：
354
参考文章：
Mongo hadoop connector
https://github.com/mongodb/mongo-hadoop
wiki
https://github.com/mongodb/mongo-hadoop/wiki
ppt
http://www.slideshare.net/mongodb/hadoop-webinar?from_embed_lead_cta=t...
分类：
数据库 时间：
2015-06-27 09:52:19
阅读次数：
231
错误信息如下：Container [pid=26845,containerID=container_1419056923480_0212_02_000001]
is running beyond virtual memory limits. Current usage: 262.8 MB of 2 GB physical memory used; 4.8 GB of 4.2 GB virtua...
分类：
其他好文 时间：
2015-06-26 19:54:37
阅读次数：
113
以下基于上篇Hadoop2.6集群部署：http://lizhenliang.blog.51cto.com/7876557/1661354接下来安装Hadoop数据仓库Hive，上节了解HBase简单使用，听起来HBase与Hive有些类似，概念也有点模糊，那我们先了解下他们之间有什么区别：HBase是一种分布式、面向列的NoSQL数据库，基于HDF..
分类：
其他好文 时间：
2015-06-26 15:08:58
阅读次数：
142
不同的 SQL JOIN除了我们在上面的例子中使用的 INNER JOIN（内连接），我们还可以使用其他几种连接。下面列出了您可以使用的 JOIN 类型，以及它们之间的差异。JOIN: 如果表中有至少一个匹配，则返回行LEFT JOIN: 即使右表中没有匹配，也从左表返回所有的行RIGHT JOIN...
分类：
其他好文 时间：
2015-06-26 10:46:59
阅读次数：
133
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKe...
分类：
其他好文 时间：
2015-06-25 12:18:17
阅读次数：
223
一、境遇接触Hadoop已经有半年了，从Hadoop集群搭建到Hive、HBase、Sqoop相关组件的安装，甚至SparkonHive、Phoenix、Kylin这些边缘的项目都有涉及。如果说部署，我自认为可以没有任何问题，但是如果说我对于这个系统已经掌握了，我却不敢这么讲，因为至少MapReduce我还没有熟..
分类：
其他好文 时间：
2015-06-24 16:42:14
阅读次数：
236
在使用HiveHue查询出结果之后，点击按钮【以XLS格式下载结果】导出的数据文件不完整。下图是按照XLS和CVS格式导出的文件大小比较的图片，明显按照cvs格式导出的文件数据比xls格式的数据多无奈，暂时只能导出csv，然后另存为成xls格式。
分类：
其他好文 时间：
2015-06-24 16:41:36
阅读次数：
291
Jquery UIcdn.bootcss.comcode.jquery.comThemes:black-tie 黑领带blitzer 闪电人cupertino 苹果dark-hive 黑暗的蜂巢dot-luv 点爱eggplant 茄子excite-bike 越...
分类：
Web程序 时间：
2015-06-24 14:17:21
阅读次数：
137
大表Join的数据偏斜
MapReduce编程模型下开发代码需要考虑数据偏斜的问题，Hive代码也是一样。数据偏斜的原因包括以下两点：
1. Map输出key数量极少，导致reduce端退化为单机作业。
2. Map输出key分布不均，少量key对应大量value，导致reduce端单机瓶颈。
Hive中我们使用MapJoin解决数据偏斜的问题，即将其中的某个表（全量）分发到所有Map端进...
分类：
其他好文 时间：
2015-06-24 12:58:02
阅读次数：
129
