solution:No job file jar和ClassNotFoundException(hadoop,mapreduce)解决方案...
分类:
编程语言 时间:
2014-12-10 18:11:28
阅读次数:
300
我们以前使用过的对hbase和hdfs进行健康检查,及剩余hdfs容量告警,简单易用
#/bin/bash
bin=`dirname $0`
bin=`cd $bin;pwd`
STATE_OK=0
STATE_WARNING=1
STATE_CRITICAL=2
STATE_UNKNOWN=3
STATE_DEPENDENT=4
source /etc/...
分类:
其他好文 时间:
2014-12-10 12:40:37
阅读次数:
171
在测试环境准备测试FastCopy,因为之前只有一个NS,准备增加一个NS也便于测试,一切都准备妥当之后,重启DN,但是DN死活连接不上新的NN,报以下错误:...
分类:
其他好文 时间:
2014-12-09 23:09:47
阅读次数:
262
Hadoop,HBase,Storm,Spark到底是什么?
Hadoop=HDFS+Hive+Pig+......
分类:
其他好文 时间:
2014-12-09 17:45:22
阅读次数:
183
查看日志:/home/nbu/xu/hadoop/logs/
vi hadoop-nbu-datanode-hadoop211.log
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /home/nbu/xu/app/had...
分类:
其他好文 时间:
2014-12-09 15:44:05
阅读次数:
137
1 Hbase日常运维1.1 监控Hbase运行状况1.1.1 操作系统1.1.1.1 IO 群集网络IO,磁盘IO,HDFS IOIO越大说明文件读写操作越多。当IO突然增加时,有可能:1.compact队列较大,集群正在进行大量压缩操作。2.正在执行mapreduce作业可以通过CDH前台查看整...
分类:
其他好文 时间:
2014-12-09 13:48:38
阅读次数:
11902
本文介绍如何使用shell命令方便的操作hadoop...
分类:
系统相关 时间:
2014-12-09 10:34:31
阅读次数:
349
Hadoop下HDFS文件系统在这里我们对Hadoop的基本概念,历史功能就不做过多的阐述,重点在对于他的文件系统做一些了解和阐述。HDFS(Hadoopdistributedfilesystem)是一个分布式文件系统。具有高容错性(fault-tolerant),使得他能够部署在低廉的硬件上。他可以提供高吞吐率来访..
分类:
其他好文 时间:
2014-12-09 02:03:50
阅读次数:
269