上一篇文章——Hadoop2.6.0集群部署中，我们可以看到，Hadoop集群启动后的服务情况：[hadoop@iZ94cjwg86gZ~]$jps
27888SecondaryNameNode
27688NameNode
28430Jps
28044ResourceManager
31596JobHistoryServer如果你已经搜索过Hadoop了，或者听说过mapreduce，可能网上资料更多..
分类：
编程语言 时间：
2015-06-12 15:11:33
阅读次数：
213
Hadoop集群的部署网上很多关于hadoop集群部署的文章，我这里重新整理下，毕竟，别人的经历，让你按照着完整走下来，总有或多或少的问题。小技巧分享:有些初学者喜欢在自己机器上安装虚拟机来部署hadoop，毕竟，很多同学的学习环境都是比较受限的。我这里则直接选择了阿里云的机..
分类：
编程语言 时间：
2015-06-11 23:10:51
阅读次数：
548
Hadoop集群中，使用DNS而不是hosts来访问服务器。 1. 安装bind软件 用root用户运行： yum -y install bind* 2. 配置named.conf文件 vi /etc/named.conf 修改以下部分： listen-on port 53 { any; }; al...
分类：
其他好文 时间：
2015-06-11 18:49:07
阅读次数：
132
最近在搭建Hadoop集群，为了操作方便，需要Master用无密码验证的方式的SSH登陆Slave，下面是技术总结。
1.首先在Slave上创建用户hadoop，并设置密码-bash-4.1# useradd hadoop
-bash-4.1# ls -l /home
总用量 8
drwx------ 2 hadoop hadoop 4096 6月 10 12:58 hadoop
drwx---...
分类：
系统相关 时间：
2015-06-11 09:39:03
阅读次数：
169
Hadoop集群中有三种作业调度算法，分别为FIFO，公平调度算法和计算能力调度算法 先来先服务（FIFO） Hadoop中默认的调度器FIFO，它先按照作业的优先级高低，再按照到达时间的先后选择被执行的作业。 FIFO比较简单...
分类：
编程语言 时间：
2015-06-08 20:01:41
阅读次数：
157
Hadoop在百度的应用领域主要包括：大数据挖掘与分析，日志分析平台，数据仓库系统，用户行为分析系统，广告平台等存储与计算服务。目前百度的Hadoop集群规模已经超过数十个至多，单集群节点数目超过5000台，每天处理的数据量超过8000TB。同时百度在Hadoop的基础上还开发了自己..
分类：
其他好文 时间：
2015-06-03 06:16:38
阅读次数：
363
集群的概念
计算机集群是一种计算机系统，它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。
集群系统中的单个计算机通常称为节点，通常通过局域网连接。
集群技术的特点：
1、通过多台计算机完成同一个工作。达到更高的效率
2、两机或多机内容、工作过程等完全一样。如果一台死机，另一台可以起作用
集群模式安装步骤
(在伪分布模式下...
分类：
其他好文 时间：
2015-06-01 22:40:30
阅读次数：
236
What is HDInsight? Microsoft Azure HDInsight 是基于 Hortonoworks Data Platform (HDP) 的 Hadoop 集群，包括Storm, HBase, Pig, Hive, Sqoop, Oozie, Ambari等（具体的组件请参...
分类：
其他好文 时间：
2015-06-01 18:15:16
阅读次数：
201
目的
随着企业要处理的数据量越来越大，Hadoop运行在越来越多的集群上，同时MapReduce由于具有高可扩展性和容错性，已经逐步广泛使用开来。因此也产生很多问题，尤其是性能方面的问题。这里从管理员角度和用户角度分别介绍Hadoop性能优化的一些体会。
本文是基于Hadoop 0.20.x(包括1x),cdh 3及以上版本做介绍。（Hadoop的版本比较杂乱，具体可以看参...
分类：
其他好文 时间：
2015-05-26 09:11:52
阅读次数：
482
目的准备工作安装在非保护模式下运行Hadoop配置Hadoop的守护进程环境在非保护模式下配置Hadoop守护进程Hadoop的支架意识监视健康状态的节点管理器slaves文件日志操纵Hadoop集群启动Hadoop关闭Hadoopweb接口目的这篇文档描述了如何安装、配置和管理从几个节点到几千个节...
分类：
其他好文 时间：
2015-05-25 18:36:41
阅读次数：
179
