格式化namenode后，通过jps可发现datanode没有启动成功，查看datanode上的日志/home/wukong/usr/hadoop-1.2.1/logs/hadoop-wukong-datanode-bd12.log，可以发现是namespaceid不对。 解决办法： 1、查看namenode上...
分类：
其他好文 时间：
2014-08-03 23:37:06
阅读次数：
661
这篇文章主要介绍Hadoop的系统配置类Configuration。接着上一篇文章介绍，上一篇文章中Hadoop Job的main方法为：public static void main(String[] args) throws Exception { int res = ToolRunne...
分类：
其他好文 时间：
2014-08-03 22:57:36
阅读次数：
435
1 安装环境 Hadoop1.2.1 分布式集群环境下安装（192.168.1.53-56） Mahout 0.9 2 安装介质 下载地址：http://archive.apache.org/dist/mahout/0.9/ 文件名（二进制）：mahout-distribution-0.9...
分类：
其他好文 时间：
2014-08-03 20:33:45
阅读次数：
190
这篇文章大致介绍Hadoop Job的程序是如何启动的。通常用Java编写的Hadoop MapReduce程序是通过一个main方法作为程序的整个入口，如下：public static void main(String[] args) throws Exception { int res ...
分类：
其他好文 时间：
2014-08-03 20:30:45
阅读次数：
307
今天来说说hadoop的一大核心——HDFS，这个是很重要的，它呢，是分布式文件系统。为什么说hadoop能存储海量数据？其实主要还是依赖与hdfs的能力，主要依赖的是hdfs能存储海量数据。
1、 为什么hdfs能存储海量数据呢？
一开始抛出这样的问题来想想。至于HDFS的基本概念什么的都不用多说了的~我们重在使用，而不是去做“研究”。扯蛋的话就是，“专家的研究”已经成为名副其实的贬义词了，...
分类：
其他好文 时间：
2014-08-03 18:09:05
阅读次数：
332
Apache Crunch是FlumeJava的实现，为不太方便直接开发和使用的MapReduce程序，开发一套MR流水线，具备数据表示模型，提供基础原语和高级原语，根据底层执行引擎对MR Job的执行进行优化。从分布式计算角度看，Crunch提供的许多计算原语，可以在Spark、Hive、Pig等地方找到很多相似之处，而本身的数据读写，序列化处理，分组、排序、聚合的实现，类似MapReduce各阶段的拆分都可以在Hadoop里找到影子。
本文介绍Crunch在数据表示模型、操作原语、序列化处理方面的设计和...
分类：
其他好文 时间：
2014-08-03 18:02:06
阅读次数：
267
bin/hive 提示"xxx Illegal Hadoop Version: Unknown (expected A.B.* format)"类似这样的问题，经过查看代码 public static String getMajorVersion() { String vers = Versi...
分类：
其他好文 时间：
2014-08-03 17:46:15
阅读次数：
837
此篇是在零基础学习hadoop到上手工作线路指导（初级篇）的基础，一个继续总结。 五一假期：在写点内容，也算是总结。上面我们会了基本的编程，我们需要对hadoop有一个更深的理解： hadoop分为hadoop1.X、hadoop2.X，并且还有hadoop生态系统。这里只能慢慢介绍了。一口也吃不成...
分类：
其他好文 时间：
2014-08-03 12:44:25
阅读次数：
289
直接上图片 web端用spring mvc4.0.5 hadoop+hbase 伪分布实验环境 已实现用户注册 登陆 网盘管理：上传文件 创建文件夹 修改文件及文件夹 分享文件及文件夹 删除文件及文件夹 仿百度文库浏览文档 和下载文件功能。...
分类：
其他好文 时间：
2014-08-03 10:24:25
阅读次数：
269
