WordCount是一个入门的MapReduce程序（从src\examples\org\apache\hadoop\examples粘贴过来的）：package org.apache.hadoop.examples;import java.io.IOException;import java.ut...
分类：
其他好文 时间：
2014-08-16 23:48:21
阅读次数：
340
安装完hadoop后启动hadoop会报一个Warning。解决办法vi /etc/profile进入编辑模式,添加下面这行export HADOOP_HOME_WARN_SUPPRESS=1保存退出立即生效：source /etc/profile重新启动hadoop消除警告成功！
分类：
其他好文 时间：
2014-08-16 23:46:21
阅读次数：
275
从hadoop框架与MapReduce模式中谈海量数据处理前言 几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，认为它们非常是神奇，而神奇的东西常能勾起我的兴趣，在看过介绍它们的文章或论文之后，认为Hadoop是一项富有趣味和挑战性的技术，且它还牵扯到...
分类：
其他好文 时间：
2014-08-16 18:29:30
阅读次数：
339
HDFS可靠性冗余副本策略机架策略心跳机制安全模式校验和回收站元数据保护在数据节点启动后，会把本地的文件系统遍历一次，产生一份数据块以及本地文件对应关系的清单叫做块报告，会汇报给NameNodeHadoop机架感知集群中各个节点之间会相互传递信息包心跳机制nameNode周期性从dat..
分类：
其他好文 时间：
2014-08-16 17:15:21
阅读次数：
317
在虚拟机利用两台centos（64位）,由于使用的机器是64位，所以要自己编译好安装包1、建Hadoop运行组和用户root下运行命令，创建组和用户groupadd hadoopuseradd -g hadoop hadooppasswd hadoop2、修改/etc/hosts192.168.13...
分类：
其他好文 时间：
2014-08-16 12:21:20
阅读次数：
263
hadoop版本1.2.1jdk1.7.0例3-1、通过URLStreamHandler实例以标准输出方式显示Hadoop文件系统的文件hadoop fs -mkdir input在本地创建两个文件file1，file2，file1的内容为hello world，file2内容为hello Hado...
分类：
其他好文 时间：
2014-08-16 11:09:30
阅读次数：
377
本文所用环境为3台hadoop2.2，hbase已经安装完毕，具体安装可参照前两篇文章。hive适用的元数据库为mysql，所以master上要安装mysql，用系统自带的即可，这里不在详述。(1)安装hive解压#tarzvxfhive-0.12.0.tar.gz-C/usr
#cd/usr
#mvhive-0.12.0hive2.替换jar包，保持hbase0.96..
分类：
其他好文 时间：
2014-08-16 09:49:41
阅读次数：
303
一、抓取流程概述
1、nutch抓取流程
当使用crawl命令进行抓取任务时，其基本流程步骤如下：
（1）InjectorJob
开始第一个迭代
（2）GeneratorJob
（3）FetcherJob
（4）ParserJob
（5）DbUpdaterJob
（6）SolrIndexerJob
开始第二个迭代
（2）GeneratorJob（3）FetcherJob（4）...
分类：
其他好文 时间：
2014-08-15 22:36:09
阅读次数：
1149
hadoop yarn里用了RPC调用。NM里面文件本地化类ContainerLocalizer用RPC心跳方式跟本机的ResourceLocalizationService通信。用shared memory还要调到native层去，不知道会不会比tcp/ip快？可以用文件，考虑锁的问题。但是文件貌...
分类：
其他好文 时间：
2014-08-15 22:22:39
阅读次数：
220
