Hive 已是目前业界最为通用、廉价的构建大数据时代数据仓库的解决方案了，虽然也有 Impala 等后起之秀，但目前从功能、稳定性等方面来说，Hive 的地位尚不可撼动。其实这篇博文主要是想聊聊 SMB join 的，Join 是整个 MR/Hive 最为核心的部分之一，是每个 Hadoop/Hiv...
分类：
其他好文 时间：
2014-08-14 16:22:48
阅读次数：
244
适用于场景连接的列数据量很大，在分布式缓存中无法存储时，Bloom Filter 可解决这个问题，用很小的内存可有MAP端过滤掉不需要JOIN的数据，这样传到REDUCE的数据量减少，减少了网络传及磁盘IO。缺点Bloom Filter 会有一定的错误率，但是错误率很低，用空间换取了时间。并且，最终...
分类：
其他好文 时间：
2014-08-14 16:05:39
阅读次数：
284
安装sshHadoop是采用ssh进行通信的，此时我们要设置密码为空，即不需要密码登陆，这样免去每次通信时都输入秘密，安装如下：输入“Y”进行安装并等待自动安装完成。安装ssh完成后启动服务以下命令验证服务是否正常启动：可以看到ssh正常启动；设置免密码登录，生成私钥和公钥：在/root/.ssh中...
分类：
其他好文 时间：
2014-08-14 13:50:18
阅读次数：
879
hadoop2.5发布：最新编译 32位、64位安装、源码包、API以及新特性http://www.aboutyun.com/thread-8751-1-1.html(出处: about云开发)问题导读：1.如何获取Hadoop安装包?2.编译Hadoop过程中，需要注意哪些问题?3.如何寻找API...
Apache Hadoop 2.5.0是一个在2.x.y发布线上的一个小版本，建立在之前稳定的发布版本2.4.1之上。
主要特性和改进：
1. Common
a) 使用HTTP代理服务器时认证改进。当通过代理服务器使用WebHDFS时这是非常有用的。
b) 增加了一个新的Hadoop指标监控sink，允许直接写到Graphite。
c)...
分类：
其他好文 时间：
2014-08-13 19:00:17
阅读次数：
278
Hadoop 2.2.0 集群配置攻略
用户输入标识： chmod
+x jdk-7u45-linux-x64.rpm 为黑色带底纹
系统输出标识： java version "1.7.0_51"
为绿色小字
2014年3月20-日 by lilihao Q 404536204
1. 安装sun jdk
(1). 到Oracle的官方网站...
分类：
系统相关 时间：
2014-08-13 18:55:57
阅读次数：
543
“大数据”已成为近三年来使用频率最高的技术热词，越来越多的企业开始拥抱大数据技术，并将大数据应用引入到日常生产经营环境中。相应的市场也在 这一年中出现了迅速增长，和大数据相关的Hadoop及其生态系统技术变成了数据科学家们的常用工具。市场研究机构IDC预测：至2016 年，Hadoop将实现8.12...
分类：
其他好文 时间：
2014-08-13 18:10:16
阅读次数：
219
关系行数据库与非关系型数据库之间的数据同步 sqoop...
分类：
其他好文 时间：
2014-08-13 15:02:06
阅读次数：
226
hadoop2 hive0.13.0 hbase 0.98.2版本集成错误总结...
分类：
其他好文 时间：
2014-08-13 15:01:16
阅读次数：
246
【课程内容】1、Hadoop分布式文件系统（HDFS）2、YARN/MapReduce的工作原理3、如何优化Hadoop机群所需要的硬件配置4、搭建Hadoop机群所需要考虑的网络因素5、Hadoop机群维护和控制6、如何利用Hadoop配置选项进行系统性能调优7、如何利用FairScheduler...
分类：
其他好文 时间：
2014-08-13 14:51:36
阅读次数：
288
