第一部分：core-site.xml?core-site.xml为Hadoop的核心属性文件，参数为Hadoop的核心功能，独立于HDFS与MapReduce。参数列表?fs.default.name?默认值 file:///?说明：设置Hadoop namenode的hostname及port，预...
分类：
其他好文 时间：
2014-08-23 15:13:50
阅读次数：
217
hadoop2.0 yarn 内存溢出问题解决异常提示：Container [pid=20170,containerID=container_1390877171119_0002_01_000005] is running beyond virtual memory limits. Current ...
分类：
其他好文 时间：
2014-08-23 15:12:51
阅读次数：
218
AttemptID:attempt_1390962167768_0001_m_000026_0 Timed out after 600 secs14/01/29 10:56:54 INFO mapreduce.Job: map 13% reduce 0%14/01/29 10:57:28 INFO ...
分类：
其他好文 时间：
2014-08-23 15:11:20
阅读次数：
591
重启HBase后，进入hbase shell 进行 scan 、get 、create等操作均报错：ERROR: org.apache.hadoop.hbase.NotServingRegionException: org.apache.hadoop.hbase.NotServingRegionEx...
分类：
其他好文 时间：
2014-08-23 15:10:00
阅读次数：
249
YARN加载本地库抛出Unable to load native-hadoop library解决办法用官方的Hadoop2.1.0-beta安装后，每次hadoop命令进去都会抛出这样一个WarningWARN util.NativeCodeLoader: Unable to load nativ...
分类：
其他好文 时间：
2014-08-23 12:30:40
阅读次数：
282
1、参考文档:http://www.elasticsearch.org/guide/en/elasticsearch/hadoop/current/configuration.htmlhttp://www.elasticsearch.org/guide/en/elasticsearch/hadoop...
分类：
其他好文 时间：
2014-08-23 09:58:30
阅读次数：
213
第一部分： hadoop rpc基础RPC,远程程序调用，分布式计算中C/S模型的一个应用实例。同其他RPC框架一样，Hadoop分为四个部分：序列化层：支持多种框架实现序列化与反序列化函数调用层：利用java反射与动态代理实现网络传输层：基于TCP/IP的Socket机制服务的处理框架：基于Rea...
分类：
其他好文 时间：
2014-08-23 01:06:09
阅读次数：
277
1、Cygwin ：Net 下的：openssh,opensslBase 下的：sed （若需要Eclipse，必须sed）默认即可Devel 下的：subversion（建议安装） 2、jdk 安装后在根目录解压jdk，并配置到环境变量：export PATH=$PATH:$JAVA...
1、NutchConfiguration.java用于加载及获取Nutch的相关参数。
Utility to create Hadoop Configurations that include Nutch-specific resources.
即它会加载hadoop及nutch中的参数文件。
关键是2个create()方法，它加载了参数文件的同时，又返回了Configuration对象...
分类：
其他好文 时间：
2014-08-22 22:34:26
阅读次数：
359
[hadoop@master~]$sudorpm-ivhMySQL-server-5.6.20-1.el6.x86_64.rpm
rpmdb:PANIC:fatalregionerrordetected;runrecovery安装mysql时候，提示rpmdb错误。google了一下centos的KB,解决思路如下:需要清除rpm的database,保险起见，将/var/lib/rpm目录下的数据做个备份到/home/tmp..
分类：
数据库 时间：
2014-08-22 14:38:09
阅读次数：
381
