环境:OS:Centos 6.5 x64 & Soft:Hadoop
1.2.11、查看当前块大小,默认64M。[huser@master hadoop-1.2.1]$ bin/hadoop fs -stat "%o"
./in/test1.txt671088642、修改hdfs-site.conf...
分类:
其他好文 时间:
2014-05-06 08:59:21
阅读次数:
368
集群建备份,它是master/slaves结构式的备份,由master推送,这样更容易跟踪现在备份到哪里了,况且region server是都有自己的WAL
和HLog日志,它就像mysql的主从备份结构一样,只有一个日志来跟踪。一个master集群可以向多个slave集群推送,收到推送的集群会.....
分类:
其他好文 时间:
2014-05-06 01:15:23
阅读次数:
458
namenode 和 secondaryNamenode
运行在同一机器上,分离配置到新节点上。环境:OS:Centos 6.5 x64 & Soft:Hadoop
1.2.1master中的配置不是决定谁是namenode,而是决定谁是secondarynamenode。决定谁是namenode的...
分类:
其他好文 时间:
2014-05-06 01:08:13
阅读次数:
388
Hadoop集群实施成功后,再次格式化名称节点。环境:OS:Centos 6.5 x64 &
Soft:Hadoop 1.2.11、格式化之前hadoop集群正常。[huser@master hadoop-1.2.1]$ jps7927
SecondaryNameNode7773 NameNode8...
分类:
其他好文 时间:
2014-05-06 00:52:59
阅读次数:
491
控制namenode检查点发生的频率。环境:OS:Centos 6.5 x64 &
Soft:Hadoop 1.2.11、修改core-site.xml,设置参数。 fs.checkpoint.period
1802、重启集群,查看namenode下文件更新频率,每隔180秒更新一次。[huser@...
分类:
其他好文 时间:
2014-05-06 00:26:48
阅读次数:
429
在上一章中提到了编码压缩,讲了一个简单的DataBlockEncoding.PREFIX算法,它用的是前序编码压缩的算法,它搜索到时候,是全扫描的方式搜索的,如此一来,搜索效率实在是不敢恭维,所以在hbase当中单独拿了一个工程出来实现了Trie的数据结果,既达到了压缩编码的效果,亦达到了方便查询的...
分类:
其他好文 时间:
2014-05-05 23:30:15
阅读次数:
434
前段时间,一连发现好几个用户的路由器里面的连接数过高,我仔细查看了一下,发现有一个通用的问题就是:用户有连接很多LAN口的连接,都是指向内网IP有些甚至是255.255.255.255的目标地址,这样直接导致用户连接数过高,无法正常访问其他的网络资源我初步分析,有可能是以下几种情况,一种是病毒,另一...
分类:
其他好文 时间:
2014-05-05 22:53:27
阅读次数:
316
centos 配置hadoop 2.2. 非常全面...
分类:
其他好文 时间:
2014-05-03 16:39:17
阅读次数:
369
模拟namenode崩溃,将name目录的内容全部删除,然后通过secondary
namenode恢复namenode。环境:OS:Centos 6.5 x64 & Soft:Hadoop
1.2.11、进入name目录下,删除name目录内容。[huser@master name]$ pwd/h...
分类:
其他好文 时间:
2014-05-02 14:44:28
阅读次数:
517