1、关闭集群 2、通过修改core-site.xml ??<property>
????<name>fs.checkpoint.period</name>
????<value>180</value><!--单位为秒-->
??</property>
??<property>
????<name>fs.checkpoint.d...
分类：
其他好文 时间：
2014-08-04 14:48:57
阅读次数：
202
第一个hands-on入门程序：参考http://blog.csdn.net/sim_szm/article/details/12578055搭建环境并跑WordCount程序，区别是我安装的是最新的hadoop版本0.23.11，JDK我使用的是SunJDK，Linux使用的是国产的Kylin。问题一：Error:JAVA_HOMEisnotsetandcouldnotbefound.解决方案：/..
分类：
其他好文 时间：
2014-08-04 14:39:48
阅读次数：
219
package com.laiwang.algo.antispam.event.job;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.had...
分类：
系统相关 时间：
2014-08-04 01:52:26
阅读次数：
413
格式化namenode后，通过jps可发现datanode没有启动成功，查看datanode上的日志/home/wukong/usr/hadoop-1.2.1/logs/hadoop-wukong-datanode-bd12.log，可以发现是namespaceid不对。 解决办法： 1、查看namenode上...
分类：
其他好文 时间：
2014-08-03 23:37:06
阅读次数：
661
这篇文章主要介绍Hadoop的系统配置类Configuration。接着上一篇文章介绍，上一篇文章中Hadoop Job的main方法为：public static void main(String[] args) throws Exception { int res = ToolRunne...
分类：
其他好文 时间：
2014-08-03 22:57:36
阅读次数：
435
1 安装环境 Hadoop1.2.1 分布式集群环境下安装（192.168.1.53-56） Mahout 0.9 2 安装介质 下载地址：http://archive.apache.org/dist/mahout/0.9/ 文件名（二进制）：mahout-distribution-0.9...
分类：
其他好文 时间：
2014-08-03 20:33:45
阅读次数：
190
这篇文章大致介绍Hadoop Job的程序是如何启动的。通常用Java编写的Hadoop MapReduce程序是通过一个main方法作为程序的整个入口，如下：public static void main(String[] args) throws Exception { int res ...
分类：
其他好文 时间：
2014-08-03 20:30:45
阅读次数：
307
今天来说说hadoop的一大核心——HDFS，这个是很重要的，它呢，是分布式文件系统。为什么说hadoop能存储海量数据？其实主要还是依赖与hdfs的能力，主要依赖的是hdfs能存储海量数据。
1、 为什么hdfs能存储海量数据呢？
一开始抛出这样的问题来想想。至于HDFS的基本概念什么的都不用多说了的~我们重在使用，而不是去做“研究”。扯蛋的话就是，“专家的研究”已经成为名副其实的贬义词了，...
分类：
其他好文 时间：
2014-08-03 18:09:05
阅读次数：
332
Apache Crunch是FlumeJava的实现，为不太方便直接开发和使用的MapReduce程序，开发一套MR流水线，具备数据表示模型，提供基础原语和高级原语，根据底层执行引擎对MR Job的执行进行优化。从分布式计算角度看，Crunch提供的许多计算原语，可以在Spark、Hive、Pig等地方找到很多相似之处，而本身的数据读写，序列化处理，分组、排序、聚合的实现，类似MapReduce各阶段的拆分都可以在Hadoop里找到影子。
本文介绍Crunch在数据表示模型、操作原语、序列化处理方面的设计和...
分类：
其他好文 时间：
2014-08-03 18:02:06
阅读次数：
267
bin/hive 提示"xxx Illegal Hadoop Version: Unknown (expected A.B.* format)"类似这样的问题，经过查看代码 public static String getMajorVersion() { String vers = Versi...
分类：
其他好文 时间：
2014-08-03 17:46:15
阅读次数：
837
