Hadoop集群配置（最全面总结） 通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\ 官方地址：(http://Hadoop.apache. ...
分类：
其他好文 时间：
2016-04-30 13:02:23
阅读次数：
266
我再虚拟机上配置了三个节点，一个作为NameNode，另外两个作为DataNode，如图所示
在每个节点上输入ifconfig，来查询每个节点的IP地址。
配置namenode 和datanode ,配置成功的关键在于确保各节点的主机名和IP地址之间能正确解析。修改每台机器的/etc/hosts，如果该节点作为NameNode用，则需要在文件中添加集群中所有机器的IP地...
分类：
其他好文 时间：
2016-04-29 15:57:40
阅读次数：
134
DataBlockScanner是运行在数据节点DataNode上的一个后台进程，它负责管理所有块池的数据块扫描工作。当数据节点DataNode发送心跳给名字节点NameNode进行数据块汇报并执行完返回的命令时，会在DataBlockScanner的内部集合blockPoolScannerMap中注册块池ID与为此新创建的BlockPoolSliceScanner对象的关系，然后DataBlockScanner内部线程blockScannerThread周期性的挑选块池currentBpId，并获取块池切...
分类：
其他好文 时间：
2016-04-27 13:04:06
阅读次数：
133
1 环境描述 三台hadoop集群，分别是master、slave1和slave2。下面是这三台机器的软件分布： master：NameNode、ZK、HiveMetaSotre、HiveServer2、SentryServer slave1：DataNode、ZK slave2：DataNode、... ...
分类：
Web程序 时间：
2016-04-26 10:56:37
阅读次数：
966
HDFS设计的主要目的是对海量数据进行存储，也就是说在其上能够存储很大量文件 （可以存储TB级的文件）。HDFS将这些文件分割之后，存储在不同的DataNode上， HDFS 提供了两种访问接口：Shell接口和Java API 接口，对HDFS里面的文件进行操作，具体每个Block放在哪台Data ...
分类：
系统相关 时间：
2016-04-17 00:19:53
阅读次数：
277
HDFS设计的主要目的是对海量数据进行存储，也就是说在其上能够存储很大量文件（可以存储TB级的文件）。HDFS将这些文件分割之后，存储在不同的DataNode上， HDFS 提供了两种访问接口：Shell接口和Java API 接口，对HDFS里面的文件进行操作，具体每个Block放在哪台DataN ...
分类：
编程语言 时间：
2016-04-15 20:01:07
阅读次数：
287
1.hadoop的分布式安装过程 1.1 分布结构 主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode 从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker 1.2 各节点重新产生ssh加密文件 1.3 ...
分类：
其他好文 时间：
2016-04-07 20:25:22
阅读次数：
131
RPC简介：
RPC(Remote Procedure Call）远程过程调用，它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去关心底层的网络通信细节，对我们来说是透明的。经常用于分布式网络通信中。
Hadoop的进程间交互都是通过RPC来进行的，比如Namenode与Datanode之间，Jobtracker与Tasktracker之间等。
RPC协议假定某些传输协议的存在，如...
分类：
其他好文 时间：
2016-03-24 14:49:05
阅读次数：
282
HDFS设计的主要目的是对海量数据进行处理，也就是说在其上能够储存很大量文件(可以储存TB级的文件)。HDFS将这些文件分割之后，储存在不同的DataNode上，HDFS提供了两种数据访问接口:Shell接口和javaAPI接口,对HDFS里面的文件进行操作。 Shell接口 HDFS处理文件的命令
分类：
编程语言 时间：
2016-03-22 00:21:32
阅读次数：
365
http://wiki.apache.org/hadoop/FAQ#On_an_individual_data_node.2C_how_do_you_balance_the_blocks_on_the_disk.3F 关于这个问题，Hadoop暂时未提供自动解决的方案，已经提上日程，jira上有记录...
分类：
其他好文 时间：
2016-03-13 09:59:34
阅读次数：
266
