import java.io.File;import java.io.IOException; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop....
分类：
其他好文 时间：
2014-06-18 20:12:01
阅读次数：
254
hadoop 1.0 mapreduce过程主要问题：JobTracker 是 Map-reduce 的集中处理点，存在单点故障。JobTracker 完成了太多的任务，造成了过多的资源消耗，当 map-reduce job 非常多的时候，会造成很大的内存开销，潜在来说，也增加了 JobTracke...
分类：
其他好文 时间：
2014-06-18 20:00:19
阅读次数：
377
zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法。zookeeper安装和使用zookeeper的安装基本上可以按...
分类：
其他好文 时间：
2014-06-18 18:34:49
阅读次数：
202
我们知道，一个典型的Map-Reduce过程包 括：Input->Map->Partition->Reduce->Output。Partition负责把Map任务输出的中间结果 按key分发给不同的Reduce任务进行处理。Hadoop 提供了一个很有用的partitioner类KeyFieldBa...
分类：
编程语言 时间：
2014-06-18 17:00:55
阅读次数：
332
关键词: nutch今日来看看Nutch怎么Parse页面的：Nutch运用了两种Html parser东西（NekoHTML和TagSoup）来完成html的获取，这两种东西是可经过配置来选择的。当然你要自己完成Parser你还能够选择HTMLParser[根据visitor访问者形式一起也供给了...
分类：
其他好文 时间：
2014-06-18 15:28:46
阅读次数：
181
sqoop版本为1.4.4，hadoop版本为2.2.0，hive版本为0.11.0，hive元数据存放位置为mysql，当使用sqoop 从mysql往hive中导入数据时，总是提示找不到所指定的hive数据库，事实上hive中已存在该数据库，sqoop中也设置了hive路 径，/etc/pro....
分类：
数据库 时间：
2014-06-18 15:06:57
阅读次数：
248
1、问题：start-all.sh结果jps发现namenode没有启动，其它进程都启动2、查看日志，没有namenode生产的日志3、奇了，检查其它进程的日志，都在重新连接namenode Zzzzzzz.....4、记得虚拟机是直接关机的，未执行stop-all.sh5、删除tmp目录（metd...
分类：
其他好文 时间：
2014-06-18 13:49:33
阅读次数：
252
关键词: nutch今日来看看Nutch怎么Parse页面的： Nutch运用了两种Html parser东西（NekoHTML和TagSoup）来完成html的获取，这两种东西是可经过配置来选择的。 当然你要自己完成Parser你还能够选择HTMLParser[根据visitor访问者形式一起也供...
分类：
其他好文 时间：
2014-06-17 21:22:32
阅读次数：
258
概况Hadoop Streaming 是一个工具， 代替编写Java的实现类，而利用可执行程序来完成map-reduce过程。一个最简单的程序$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar-input myInputDirs...
分类：
其他好文 时间：
2014-06-17 15:33:54
阅读次数：
330
