这两天已经安装hadoop 这些道路是曲折的，记录它在redhat安装后一直无法开始datanode,因为jdk 问题，换了一个jdk后问题依然，自己猜測是redhat版本号太低的原因，于是仅仅好舍弃，换ubuntuubantu版本号是13.04.比較稳定。安装前首先准备好材料。vmare 虚拟机 ...
分类：
系统相关 时间：
2015-08-21 19:00:19
阅读次数：
246
importstaticorg.apache.hadoop.fs.CommonConfigurationKeys.IPC_CLIENT_CONNECT_MAX_RETRIES_ON_SASL_KEY;importstaticorg.apache.hadoop.hdfs.DFSConfigKeys.*;importstaticorg.apache.hadoop.hdfs.DFSConfigKeys.DFS_DATANODE_HTTPS_ADDRESS_KEY;importstaticorg.junit.Asse..
分类：
其他好文 时间：
2015-08-21 17:23:36
阅读次数：
302
错误原文分析文件操作超租期，实际上就是data stream操作过程中文件被删掉了。通常是因为Mapred多个task操作同一个文件，一个task完成后删掉文件导致。这个错误跟dfs.datanode.max.transfer.threads参数到达上限有关。这个是datanode同时处理请求的任务上限，总默认值是 4096，该参数取值范围[1 to 8192]hadoop docs hdfs-si...
分类：
编程语言 时间：
2015-08-17 14:05:57
阅读次数：
176
DataTransferThrottler类别Datanode读取和写入数据时控制传输数据速率。这个类是线程安全的，它可以由多个线程共享。用途是构建DataTransferThrottler对象，并设置期限period和带宽bandwidthPerSec，际读写前调用DataTransferThro...
分类：
其他好文 时间：
2015-08-14 11:13:58
阅读次数：
219
一、概要公司近期Storm清洗程序那边反应HDFS会出现偶发性的异常导致数据写不进HDFS，另外一些Spark作业在大规模往HDFS灌数据时客户端会出现各种“alldatanodebad..”以及服务端出现各种timeout，值得注意的是出现这样的问题是各个datanode节点的负载并不高！二、故障分析首先，..
分类：
编程语言 时间：
2015-08-13 20:20:37
阅读次数：
191
tailfhadoop-root-datanode-HBMS-DKXD-DEV.logtailfhadoop-root-datanode-HBMS-DKXD-DEV.log-n100locateVERSONlocateVERSONlocateVERSONvi/hdfs/datanode/current/VERSION
分类：
其他好文 时间：
2015-08-12 17:03:04
阅读次数：
96
1 新增Data节点1.1 修改/etc/hosts，增加datanode的ip1.2 在新增加的节点启动服务hadoop-daemon.sh start datanodeyarn-daemon.sh start nodemanager1.3 均衡blockstart-balancer.sh1）如果...
分类：
其他好文 时间：
2015-08-09 23:52:03
阅读次数：
140
安装Spark后进的第一个网址，看你是否安装成功，查看sprak中worker的状态
http://sparkmaster:8080/
查看spark-shell状态
http://sparkmaster:4040/stages/
查看dfs(datanode)的状态
http://sparkmaster:50070
查看nodes的状态
...
分类：
Web程序 时间：
2015-08-07 19:46:45
阅读次数：
105
原文地址：http://www.zhixing123.cn/ubuntu/40649.htmlHDFSDataNode50010dfs.datanode.addressdatanode服务端口，用于数据传输HDFSDataNode50075dfs.datanode.http.addresshttp服...
分类：
其他好文 时间：
2015-08-07 17:58:47
阅读次数：
117
safemode模式NameNode在启动的时候首先进入安全模式，如果datanode丢失的block达到一定的比例（1-dfs.safemode.threshold.pct），则系统会一直处于安全模式状态即只读状态。dfs.safemode.threshold.pct（缺省值0.999f）表示HD...
分类：
其他好文 时间：
2015-08-04 13:18:13
阅读次数：
207
