集群架构 Hadoop的安装其实就是HDFS和YARN集群的配置，从下面的架构图可以看出，HDFS的每一个DataNode都需要配置NameNode的位置。同理YARN中的每一个NodeManager都需要配置ResourceManager的位置。 NameNode和ResourceManager的 ...
分类：
其他好文 时间：
2017-12-16 11:02:11
阅读次数：
218
用Xshell连接腾讯cloud里的虚拟机后，jps命令查无namenode导致过滤排序程序跑不起来，如图： 解决方案： Google之，说需要重启，格式化后再启动Hadoop。但鉴于本人不知道实现的命令，想着再问助教 然后忽然想起来向上翻阅曾使用命令，发现助教用的是 stop all.sh sta ...
分类：
其他好文 时间：
2017-12-09 22:36:47
阅读次数：
343
datanode进程死亡或者网络故障造成datanode无法与namenode通信， namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。 HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为： timeout = 2 *... ...
分类：
其他好文 时间：
2017-11-24 21:31:01
阅读次数：
117
如果Hadoop集群是第一次启动，可以用start-all.sh。比较常用的启动方式是一个一个守护进程来启动，启动的步骤如下。 1．启动Hadoop的HDFS模块里的守护进程 HDFS里面的守护进程启动也有顺序，即： 1）启动NameNode守护进程； 2）启动DataNode守护进程； 3）启动S ...
分类：
其他好文 时间：
2017-11-24 15:06:56
阅读次数：
115
Hadoop介绍和HDFS 目的：排序、找最小值、数据去重，统计很多文件中的各个单词的格式 1.处理大数据。php调用开发好的.jar文件（Hadoop程序）调用Hadoop的namenode调用DataNode 2.保存重要文件。文件服务，保存上传的图片（原始文件多了怎么办？文件丢失怎么办） ...
分类：
其他好文 时间：
2017-11-21 01:13:39
阅读次数：
150
问题描述：1.文件无法写入hadoophdfs文件系统；2.hadoopnamenode日志记录thedirectoryitemlimitisexceed:limit=1048576解决办法：hdfs-site.xml配置文件添加配置参数
<property>
<name>dfs.namenode.fs-limits.max-directory-items</name>
<value>3200..
分类：
其他好文 时间：
2017-11-17 18:29:44
阅读次数：
193
①自定义一个协议接口继承VersionedProtocol ②自定义协议类实现上面的接口，完善功能需求 ③服务端 ④客户端 二：模拟一个namenode ...
分类：
其他好文 时间：
2017-11-14 11:28:53
阅读次数：
150
HDFS超租约异常总结（org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException） 转载 2014年02月22日 14:40:58 9686 转载 2014年02月22日 14:40:58 9686 异常信息： 13/09/11 12: ...
分类：
Web程序 时间：
2017-11-10 01:48:48
阅读次数：
298
产生背景 直接源于MRv1在几个方面的缺陷 扩展性受限(NameNode,JobTracker设计为单一节点，内存容量有限) 单点故障 难以支持MR之外的计算 slot数目无法动态修改，Map slot，Reduce slot不能共享 优点： 将资源管理和作业控制分离，减小JobTracker压力 ...
分类：
其他好文 时间：
2017-11-10 00:10:56
阅读次数：
176
<!-- 指定namenode的所在主机 --> <property> <name>fs.defaultFS</name> <value>hdfs://linux.centos.two:8020</value> </property> <!-- 指定Hadoop临时目录 --> <property> ...
分类：
其他好文 时间：
2017-11-10 00:09:30
阅读次数：
241
