转自：http://www.cnblogs.com/liqizhou/archive/2012/05/16/2503458.html 前以前帖子介绍，怎样读取文本数据源和多个数据源的合并：http://www.cnblogs.com/liqizhou/archive/2012/05/15/2501835.html 这一个博客...
分类：
数据库 时间：
2014-08-15 13:04:39
阅读次数：
285
Hadoop的MR作业支持链式处理，类似在一个生产牛奶的流水线上，每一个阶段都有特定的任务要处理，比如提供牛奶盒，装入牛奶，封盒，打印出厂日期，等等，通过这样进一步的分工，从而提高了生产效率，那么在我们的Hadoop的MapReduce中也是如此，支持链式的处理方式，这些Mapper像Linux管道...
分类：
移动开发 时间：
2014-08-15 12:43:28
阅读次数：
285
下面开始hadoop的安装与配置；（1）安装jdk我安装的是JDK1.7.0_40，windows x64版的下载完之后，直接点击安装，我的安装路径为默认路径：C:\Program Files\Java\jdk1.7.0_40；安装完毕后，设置环境变量：JAVA_HOME指向JDk安装目录PATH指...
简介
文件浏览系统（ViewFs）提供了一个管理多个Hadoop文件系统命名空间（或者叫Namespace Volume）的方式。它对于有多个NameNode的联邦集群特别有用。ViewFs与Unix/Linux系统中client side mount tables类似。ViewFs可被用来创建个人命名空间视图，也可以每个集群一个公共的试图。
本指南描述了，在有多个集群的Hadoop系统中，每...
分类：
其他好文 时间：
2014-08-15 09:34:27
阅读次数：
286
Hadoop学习笔记(8) ——实战 做个倒排索引 倒排索引是文档检索系统中最常用数据结构。根据单词反过来查在文档中出现的频率，而不是根据文档来，所以称倒排索引(Inverted Index)。结构如下: 这张索引表中， 每个单词都对应着一系列的出现该单词的文档，权表示该单词在该文档中出现的次数。....
分类：
其他好文 时间：
2014-08-14 23:43:36
阅读次数：
302
hadoop的运行环境应该是在linux环境。如果想在windows环境下安装和运行hadoop，一般有两种方式：一种是VM的方式linux操作系统，这样可以实现全linux环境的hadoop运行；另一种方式安装cygwin模拟linux环境，该方法相对比较简单方便。本文采取cywin的方式。下面将...
在执行mdrill创建表的时候报如下异常（蓝色部分为关键）：[mdrill@hadoop1101 bin]$ ./bluewhale mdrill create ./create.sql higo execute [create, ./create.sql]Exception in thread "...
分类：
其他好文 时间：
2014-08-14 23:05:46
阅读次数：
246
hadoop版本为hadoop1.2.1eclipse版本为eclipse-standard-kepler-SR2-win32-x86_64WordCount.java为hadoop-1.2.1\src\examples\org\apache\hadoop\examples\WordCount.ja...
HDFS
HDFS是一个具有高度容错性的分布式文件系统，适合部署在廉价的机器上，它具有以下几个特点：
1）适合存储非常大的文件
2）适合流式数据读取，即适合“只写一次，读多次”的数据处理模式
3）适合部署在廉价的机器上
但HDFS不适合以下场景（任何东西都要分两面看，只有适合自己业务的技术才是真正的好技术）：
1）不适合存储大量的小文件，因为受Namenode内...
分类：
其他好文 时间：
2014-08-14 16:46:28
阅读次数：
260
HDFS ArchitectureIntroductionThe Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. It has many...
分类：
其他好文 时间：
2014-08-14 16:23:38
阅读次数：
275
