存储系统Spark任务需要从一些外部的存储系统加载数据（如：HDFS 或者 HBase），重要的是存储系统要接近Spark系统，我们有如下推荐：（1）如果可能，运行Spark在相同的HDFS节点，最简单的方法是建立一个引发相同的节点上的集群独立模式（http://spark.apache.org/d...
分类：
其他好文 时间：
2015-01-11 21:33:17
阅读次数：
389
共13台服务器，我配置好了，之后发现datanode连接只有3.
然后配置是好的在呢么办呢？
hadoop dfsadmin -report查看，结果竟然是
[hadoop@master logs]$ hadoop dfsadmin -report
Configured Capacity: 0 (0 KB)
Present Capacity: 0 (0 KB)
DFS Re...
分类：
其他好文 时间：
2015-01-11 12:22:28
阅读次数：
129
hadoop中重要的组成部分HDFS，它所发挥的重要作用是进行文件的后端存储。HDFS针对的是低端的服务器，场景为读操作多、写操作少的情况。在分布式存储情况下，比较容易出现的情况是数据的损害，为了保证数据的可靠和完整，实现了数据的检验和（checksum）和多副本放置策略等措施。在HDFS中采...
分类：
其他好文 时间：
2015-01-10 11:13:55
阅读次数：
325
1、新建一个java project 2、把hadoop源码解压出来，再到src目录下把，src下的core、hdfs、mapred文件夹复制出来3、把复制出来的三个文件夹，粘贴到 java project 的ｓｒｃ下４、把ｓｒｃ去掉，右键Properties 找到５、添加资源文件夹６、加入依赖的j...
分类：
系统相关 时间：
2015-01-10 10:02:16
阅读次数：
239
Hadoop2.4.1 64-Bit QJM HA and YARN HA Install + Zookeeper-3.4.6 + Hbase-0.98.8-hadoop2-bin HA（Hadoop2.4.1(QJM方式的HDFS NameNode HA，YARN ResourceManager ...
分类：
其他好文 时间：
2015-01-09 22:12:06
阅读次数：
788
我们的HDFS生产环境是Hadoop-0.21,机器规模200台，block在7KW左右. 集群每运行几个月，NameNode就会频繁FGC,最后不得不restart NameNode. 因此怀疑NameNode存在内存泄漏问题，我们dump出了NameNode进程在重启前后的对象统计信息。
07-10重启前:
num #instances #byt...
分类：
其他好文 时间：
2015-01-09 12:42:21
阅读次数：
253
环境：Hadoop1.2. 例1：读取一个大约200k大小的本地文件，并将其第101-120字节的内容写入HDFS成为一个新文 import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org....
分类：
编程语言 时间：
2015-01-09 01:55:19
阅读次数：
285
本地开发spark代码上传spark集群服务并运行（基于spark官网文档）...
分类：
Web程序 时间：
2015-01-08 20:15:02
阅读次数：
192
配置elasticsearch的存储路径为hdfs需要两步，安装插件 elasticsearch-hadoop，在联网的情况下在命令窗口运行：plugin -install elasticsearch/elasticsearch-hadoop/1.2.0即可。如果没有联网解压插件到plugins中即...
分类：
其他好文 时间：
2015-01-08 19:30:38
阅读次数：
404
