Hadoop学习笔记(8) ——实战 做个倒排索引 倒排索引是文档检索系统中最常用数据结构。根据单词反过来查在文档中出现的频率，而不是根据文档来，所以称倒排索引(Inverted Index)。结构如下: 这张索引表中， 每个单词都对应着一系列的出现该单词的文档，权表示该单词在该文档中出现的次数。....
分类：
其他好文 时间：
2014-08-14 23:43:36
阅读次数：
302
hadoop的运行环境应该是在linux环境。如果想在windows环境下安装和运行hadoop，一般有两种方式：一种是VM的方式linux操作系统，这样可以实现全linux环境的hadoop运行；另一种方式安装cygwin模拟linux环境，该方法相对比较简单方便。本文采取cywin的方式。下面将...
在执行mdrill创建表的时候报如下异常（蓝色部分为关键）：[mdrill@hadoop1101 bin]$ ./bluewhale mdrill create ./create.sql higo execute [create, ./create.sql]Exception in thread "...
分类：
其他好文 时间：
2014-08-14 23:05:46
阅读次数：
246
hadoop版本为hadoop1.2.1eclipse版本为eclipse-standard-kepler-SR2-win32-x86_64WordCount.java为hadoop-1.2.1\src\examples\org\apache\hadoop\examples\WordCount.ja...
HDFS
HDFS是一个具有高度容错性的分布式文件系统，适合部署在廉价的机器上，它具有以下几个特点：
1）适合存储非常大的文件
2）适合流式数据读取，即适合“只写一次，读多次”的数据处理模式
3）适合部署在廉价的机器上
但HDFS不适合以下场景（任何东西都要分两面看，只有适合自己业务的技术才是真正的好技术）：
1）不适合存储大量的小文件，因为受Namenode内...
分类：
其他好文 时间：
2014-08-14 16:46:28
阅读次数：
260
HDFS ArchitectureIntroductionThe Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. It has many...
分类：
其他好文 时间：
2014-08-14 16:23:38
阅读次数：
275
Hive 已是目前业界最为通用、廉价的构建大数据时代数据仓库的解决方案了，虽然也有 Impala 等后起之秀，但目前从功能、稳定性等方面来说，Hive 的地位尚不可撼动。其实这篇博文主要是想聊聊 SMB join 的，Join 是整个 MR/Hive 最为核心的部分之一，是每个 Hadoop/Hiv...
分类：
其他好文 时间：
2014-08-14 16:22:48
阅读次数：
244
适用于场景连接的列数据量很大，在分布式缓存中无法存储时，Bloom Filter 可解决这个问题，用很小的内存可有MAP端过滤掉不需要JOIN的数据，这样传到REDUCE的数据量减少，减少了网络传及磁盘IO。缺点Bloom Filter 会有一定的错误率，但是错误率很低，用空间换取了时间。并且，最终...
分类：
其他好文 时间：
2014-08-14 16:05:39
阅读次数：
284
安装sshHadoop是采用ssh进行通信的，此时我们要设置密码为空，即不需要密码登陆，这样免去每次通信时都输入秘密，安装如下：输入“Y”进行安装并等待自动安装完成。安装ssh完成后启动服务以下命令验证服务是否正常启动：可以看到ssh正常启动；设置免密码登录，生成私钥和公钥：在/root/.ssh中...
分类：
其他好文 时间：
2014-08-14 13:50:18
阅读次数：
879
hadoop2.5发布：最新编译 32位、64位安装、源码包、API以及新特性http://www.aboutyun.com/thread-8751-1-1.html(出处: about云开发)问题导读：1.如何获取Hadoop安装包?2.编译Hadoop过程中，需要注意哪些问题?3.如何寻找API...
