1、NutchConfiguration.java用于加载及获取Nutch的相关参数。
Utility to create Hadoop Configurations that include Nutch-specific resources.
即它会加载hadoop及nutch中的参数文件。
关键是2个create()方法，它加载了参数文件的同时，又返回了Configuration对象...
分类：
其他好文 时间：
2014-08-22 22:34:26
阅读次数：
359
[hadoop@master~]$sudorpm-ivhMySQL-server-5.6.20-1.el6.x86_64.rpm
rpmdb:PANIC:fatalregionerrordetected;runrecovery安装mysql时候，提示rpmdb错误。google了一下centos的KB,解决思路如下:需要清除rpm的database,保险起见，将/var/lib/rpm目录下的数据做个备份到/home/tmp..
分类：
数据库 时间：
2014-08-22 14:38:09
阅读次数：
381
为了简化命令行方式运行作业，Hadoop自带了一些辅助类。GenericOptionsParser是一个类，用来解释常用的Hadoop命令行选项，并根据需要，为Configuration对象设置相应的取值。通常不直接使用GenericOptionsParser，更方便的方式是：实现Tool接口，通过ToolRunner来运行应用程序，ToolRunner内部调用GenericOptionsPars...
分类：
其他好文 时间：
2014-08-22 13:04:18
阅读次数：
693
行存储如图2所示，基于Hadoop系统行存储结构的优点在于快速数据加载和动态负载的高适应能力，这是因为行存储保证了相同记录的所有域都在同一个集群节点，即同一个HDFS块。不过，行存储的缺点也是显而易见的，例如它不能支持快速查询处理，因为当查询仅仅针对多列表中的少数几列时，它不能跳过不必要的列读取；此...
分类：
其他好文 时间：
2014-08-22 12:45:56
阅读次数：
285
引言 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高 度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐....
分类：
其他好文 时间：
2014-08-22 12:29:26
阅读次数：
260
?简介：VMware可以在个人本地一台笔记本机器上同时运行二个或更多Windows、DOS、LINUX系统。与“多启动”系统相比，VMWare采用了完全不同的概念。多启动系统在一个时刻只能运行一个系统，在系统切换时需要重新启动机器。VMWare是真正“同时”运行，多个操作系统在主系统的平台上，就象标准Windows应用程序那样切换。而且每个操作系统你都可以进行虚拟的分区、配置而不影响真实硬盘的数据...
分类：
系统相关 时间：
2014-08-22 10:53:46
阅读次数：
429
HDFS Rolling Upgrade
Introduction
HDFS 滚动升级允许单独升级每一个HDFS进程。例如，DataNode可以独立于NameNode升级。一个NameNode可以独立于其他的NameNode升级。NameNode可以独立于DataNode和JournalNode升级。
Upgrade
在Hadoop V2中，HDFS支持NameNode服务的HA和前后兼容...
分类：
其他好文 时间：
2014-08-22 10:51:26
阅读次数：
172
自从VMware在2013年的全球用户大会上推出vSphereBigDataExtention（BDE）以来，大数据这匹骏马越来越受到大家的追捧。当然BDE主要针对是Hadoop的大数据应用，其实大数据不仅仅是Hadoop，即使只算Hadoop也还有不同的发布版本。但是无论Hadoop的哪个版本或者哪个大数据平台，都蜂..
分类：
其他好文 时间：
2014-08-22 02:56:46
阅读次数：
184
配置主机映射关系
[hadoop@slave03~]$cat/etc/hosts
127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4
10.15.5.200master.hadoop
10.15.5.201slave01.hadoop
10.15.5.202slave02.hadoop
10.15.5.203slave03.hadoop如上有4台主机，每台hosts都已经编..
分类：
其他好文 时间：
2014-08-22 02:49:05
阅读次数：
213
1、hadoop插件的参数配置 2、运行时的参数 3、运行结果
