1.安装Hbase1）下载，注意要与hadoop版本兼容，且选择稳定版较好wgethttp://mirrors.hust.edu.cn/apache/hbase/hbase-0.98.5/hbase-0.98.5-hadoop2-bin.tar.gz2）解压tar-zxvfhbase-0.98.5-hadoop2-bin.tar.gz3）修改conf/hbase-site.xml文件<property>
<name>hbas..
分类：
其他好文 时间：
2016-04-23 01:50:21
阅读次数：
215
继《Hadoop2.6.0版本MapReudce示例之WordCount（一）》之后，我们继续看MapReduce的WordCount示例，看看如何监控作业运行或查看历史记录，以及作业运行时的文件目录及列表。...
分类：
其他好文 时间：
2016-04-22 20:59:11
阅读次数：
255
Apache YARN(Yet Another Resource Negotiator）是一个HADOOP集群资源管理系统。YARN在HADOOP2
中引入，但是它足够通用，也支持其它的分布式计算程序。
YARN提供了用于请求和使用集群资源的API，但是这些API不是直接由用户代码使用的。用户写更高级的由
分布式计算框架提供的API，这些框架是建立在YARN之上的，对用户隐藏...
分类：
其他好文 时间：
2016-04-22 20:52:22
阅读次数：
288
使用Hadoop进行离线分析或者数据挖掘的工程师，经常会需要对Hadoop集群或者mapreduce作业进行性能调优。性能调优的前提是需要能准确知道目前针对Hadoop集群或者mapreduce作业配置的参数。本文将针对这一需求，基于Hadoop开发一个简单实用的工具查询查看各种参数。...
分类：
其他好文 时间：
2016-04-22 19:23:43
阅读次数：
152
引言随着企业数据化和Hadoop的应用越加广泛，hadoop1.x的框架设计越来越无法满足人们对需求，Apache一直在对Hadoop1.x进行修改，最后推出了新一代的Hadoop2.x。从业界使用分布式系统的变化趋势和hadoop框架的长远发展来看，MapReduce的JobTracker/TaskTracker机制需要大规模的..
分类：
其他好文 时间：
2016-04-21 11:55:33
阅读次数：
242
之前一直结合Maven开发Hadoop2.2.0的程序。环境换成CDH5.2后报错，发现是Maven依赖库的问题。 之前一直使用 http://mvnrepository.com/ 查找maven依赖。但这类站点仅仅能查到通用的maven依赖，没有包括CDH依赖。还好Cloudera提供了CDH的依 ...
分类：
其他好文 时间：
2016-04-21 10:00:14
阅读次数：
169
LINUX下HADOOP2.6.0集群环境的搭建 本文旨在提供最基本的，可以用于在生产环境进行Hadoop、HDFS分布式环境的搭建，对自己是个总结和整理，也能方便新人学习使用。 基础环境 JDK的安装与配置 现在直接到Oracle官网（http://www.oracle.com/）寻找JDK7的安 ...
分类：
其他好文 时间：
2016-04-21 08:42:13
阅读次数：
229
本文详细讲解了Hadoop2.6.0版本MapReudce示例之WordCount的测试数据准备、运行命令、运行过程展示、运行结果查看等过程，并展示了WordCount的代码。...
分类：
其他好文 时间：
2016-04-19 12:19:47
阅读次数：
116
0.前言本文参考博客：http://www.51itong.net/eclipse-hadoop2-7-0-12448.html
搭建开发环境前保障已经搭建好hadoop的伪分布式。可参考上个博客：
http://blog.csdn.net/xummgg/article/details/511730721.下载安装eclipse下载网址：http://www.eclipse.org/downlo...
分类：
系统相关 时间：
2016-04-17 22:43:52
阅读次数：
467
历程是艰辛，无脑的苦力活~ 首先我的平台是搭建在cenos7虚拟机上的，使用hadoop2.6，部署计划： 0.需要 hadoop2.6 ，jdk1.7，hadoop-eclipse-plugin-2.6.0.jar，出错时候用的一些文件 1.关于虚拟机的网络设置，使用nat模式：文件/etc/sy ...
