码迷,mamicode.com
首页 > 其他好文 > 详细

No node available for block: blk

时间:2017-04-08 12:09:21      阅读:382      评论:0      收藏:0      [点我收藏+]

标签:div   csharp   eve   节点   slave   val   node   name   UI   

刚才利用hadoop和mahout运行kmean是算法,一开始利用了10个节点,一个master,9个slave,运行了7分钟,我为了看速度的变化,就改用伪分布的形式,但是一开始运行就报错了:

 

17/04/08 11:43:32 INFO hdfs.DFSClient: No node available for block: blk_5391189133848637450_1019 file=/user/root/testdata/synthetic_control.data.txt

 意思就是针对文件块block,没有可用的节点,我一开始以为是节点没=没有启动,但是后来看了一下webUI,live nodes为1,说明datanode已经启动了啊,百度才知道是hdfs-site.xml出问题了:需要加上以下配置:

    <property>
                <name>dfs.datanode.max.xcievers</name>
            <value>4096</value>
                <dedication> Datanode 有一个同时处理文件的上限,至少要有4096</dedication>
        </property>

不配置这个property的话,那么默认大小是256,显然有点小了;

No node available for block: blk

标签:div   csharp   eve   节点   slave   val   node   name   UI   

原文地址:http://www.cnblogs.com/numen-fan/p/6681442.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!