从日志上看，加粗的部分说明了问题： datanode的clusterID 和 namenode的clusterID 不匹配。 解决办法： 根据日志中的路径，cd /home/hadoop/tmp/dfs 能看到 data和name两个文件夹， 将name/current下的VERSION中的clus ...
分类：
其他好文 时间：
2016-05-08 16:40:11
阅读次数：
182
参考资料： hive安装手册。 Hadoop2.7实战v1.0之Hive-2.0.0+MySQL远程模式安装 http://m.blog.itpub.net/30089851/viewspace-2082805/ 安装环境 Ubuntu 12.04 server java 1.7.0_95 hado ...
分类：
数据库 时间：
2016-05-08 14:54:54
阅读次数：
505
一、安装Java
1.下载jdk-8u91-linux-x64.tar.gz文件，网址为：http://www.oracle.com/technetwork/java/javase/downloads/index.html
2.安装：
#选择一个安装路径，我选择的是/opt,并将下载的jdk-8u91-linux-x64.tar.gz文件复制到这个文件夹下
$ cd /opt
$ s...
分类：
系统相关 时间：
2016-05-06 16:00:27
阅读次数：
446
在有些情况下，运行于Hadoop集群上的一些mapreduce作业本身的数据量并不是很大，如果此时的任务分片很多，那么为每个map任务或者reduce任务频繁创建Container，势必会增加Hadoop集群的资源消耗，并且因为创建分配Container本身的开销，还会增加这些任务的运行时延。如果能将这些小任务都放入少量的Container中执行，将会解决这些问题。...
分类：
其他好文 时间：
2016-05-05 22:45:10
阅读次数：
307
Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。 下图为hadoop的生态系统： 2、HDFS（Hadoop分布式文件系统） 源自于Google的GFS论文，发表于2003年 ...
分类：
其他好文 时间：
2016-05-04 19:12:46
阅读次数：
155
一、前言在之前我们已经在 CenOS6.5 下搭建好了 Hadoop2.x 的开发环境。既然环境已经搭建好了，那么现在我们就应该来干点正事嘛！比如来一个Hadoop世界的HelloWorld，也就是WordCount程序(一个简单的单词计数程序)二、WordCount 官方案例的运行
2.1 程序简介
WordCount程序是hadoop自带的案例，我们可以在 hadoop 解压目录下找到包含这...
分类：
编程语言 时间：
2016-05-03 18:26:58
阅读次数：
304
上篇（Hadoop新手学习指导之入门需知）我们介绍了新手学习hadoop的入门注意事项。这篇来谈谈hadoop核心知识学习。 hadoop核心知识学习: hadoop分为hadoop1.X和hadoop2.X，并且还有hadoop生态系统。这里只能慢慢介绍了。一口也吃不成胖子。 那么下面我们以had ...
分类：
其他好文 时间：
2016-05-03 12:26:47
阅读次数：
122
1. 创建用户一枚， sudo addgroup hadoop sudo adduser -ingroup hadoop hadoop_lcc 2. 为新创建的用户添加sudo权限 sudo gedit /etc/sudoers--> hadoop_lcc ALL=(ALL:ALL) ALL 3. ...
分类：
其他好文 时间：
2016-05-02 22:40:14
阅读次数：
271
hadoop环境搭建相对麻烦，需要安装虚拟机过着cygwin什么的，所以通过查资料和摸索，在window上搭建了一个，不需要虚拟机和cygwin依赖，相对简便很多。
下面运行步骤除了配置文件有部分改动，其他都是参照hadoop下载解压的share/doc/index.html。
hadoop下载：http://apache.opencas.org/hadoop/common...
