1.core-site.xml在中插入 fs.default.name hdfs://localhost:9000 dfs.replication 1 ...
分类：
其他好文 时间：
2014-10-12 13:51:37
阅读次数：
190
无意将hdfs上的hbase文件（hbase的rootDir为hdfs:master1:9000/hbase）删掉了，重启hbase和ZK都不行 解决方案：使用hbase的ZK 即设置 hbase-env.sh 中的 ?HBASE_MANAGES_ZK 为 true 在重启hbase 即可生成hbase文...
分类：
其他好文 时间：
2014-10-11 21:04:37
阅读次数：
274
hadoop jobhistory记录下已运行完的MapReduce作业信息并存放在指定的HDFS目录下，默认情况下是没有启动的，需要配置完后手工启动服务。mapred-site.xml添加如下配置 mapreduce.jobhistory.address hadoop000:10020 Ma...
分类：
其他好文 时间：
2014-10-11 20:26:06
阅读次数：
251
在hadoop2.0中，datanode数据副本存放磁盘选择策略有两种方式：
第一种是沿用hadoop1.0的磁盘目录轮询方式，实现类：RoundRobinVolumeChoosingPolicy.java
第二种是选择可用空间足够多的磁盘方式存储，实现类：AvailableSpaceVolumeChoosingPolicy.java...
分类：
其他好文 时间：
2014-10-11 14:58:55
阅读次数：
212
apache hadoop 2.4.0 64bit 在windows8.1下直接安装指南（无需虚拟机和cygwin）...
hadoop@yts-Rev-1-0:/usr/local/hadoop/hadoop-2.2.0/hdfs/data/current$ jps11634 SecondaryNameNode11315 NameNode11779 ResourceManager11910 NodeManager125...
分类：
其他好文 时间：
2014-10-11 11:50:05
阅读次数：
187
一、概述
1、现在有三台机器，分别是：Hadoop1，Hadoop2，Hadoop3，以Hadoop1为日志汇总
2、Hadoop1汇总的同时往多个目标进行输出
3、Flume一个数据源对应多个channel，多个sink，是在consolidation-accepter.conf文件里配置的
二、部署Flume来采集日志和汇总日志
1、在Hadoop1上运行fl...
分类：
Web程序 时间：
2014-10-10 17:10:34
阅读次数：
568
Flume-NG中的hdfs sink的路径名(对应参数"hdfs.path"，不允许为空)以及文件前缀(对应参数"hdfs.filePrefix")支持正则解析时间戳自动按时间创建目录及文件前缀。 在实际使用中发现Flume内置的基于正则的解析方式非常耗时，有非常大的提升空间。如果你不需要配...
分类：
其他好文 时间：
2014-10-10 09:52:34
阅读次数：
2135
HDFS权限问题Win下Eclipse提交hadoop程序出错：org.apache.hadoop.security.AccessControlException: Permission denied: user=mango, access=WRITE描述：在window下使用Eclipse进行ha...
分类：
其他好文 时间：
2014-10-10 01:58:53
阅读次数：
138
这里只考虑flume本身的一些东西，对于JVM、HDFS、HBase等得暂不涉及。。。。一、关于Source： 1、spool-source：适合静态文件，即文件本身不是动态变化的； 2、avro source可以适当提高线程数量来提高此source性能； 3、ThriftSource在使用时...
分类：
其他好文 时间：
2014-10-09 19:29:07
阅读次数：
292
