DEPRECATED: Use of this script to execute hdfs command is deprecated.本人安装的hadoop版本是2.4.0的，但每次执行命令时都会显示下面的信息hadoop@VM_160_34_centos:/usr/local/hadoop-2...
分类：
其他好文 时间：
2014-08-29 22:35:28
阅读次数：
265
1、新版本2.4.1中，profile/hadoop-env.sh中均己设置JAVA_HOME，java-version也正常。启动时报错：[root@nn~]#start-all.shStartingnamenodeson[]localhost:Error:JAVA_HOMEisnotsetandcouldnotbefound.localhost:Error:JAVA_HOMEisnotsetandcouldnotbefound....startingyarnda..
分类：
其他好文 时间：
2014-08-29 16:17:28
阅读次数：
155
初次在VM上配置Hadoop，开了三台虚拟机，一个作namenode,jobtracker另外两台机子作datanode,tasktracker配置好后，启动集群通过http://localhost:50700查看cluster状况Hadoop配置datanode无法连接到master发现没有dat...
分类：
其他好文 时间：
2014-08-29 15:54:18
阅读次数：
201
编程
Producer是一个应用程序，它创建消息并发送它们到Kafka broker中。这些producer在本质上是不同。比如，前端应用程序，后端服务，代理服务，适配器对于潜在的系统，Hadoop对于的Producer。这些不同的Producer能够使用不同的语言实现，比如java、C和Python。下面的这部图表解释了消息producer的Kafka API.
下面将详...
分类：
其他好文 时间：
2014-08-29 11:03:57
阅读次数：
277
hadoop 学习笔记：mapreduce框架详解 开始聊mapreduce，mapreduce是hadoop的计算框架，我 学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研...
分类：
其他好文 时间：
2014-08-28 21:18:16
阅读次数：
355
bin/hadoop jar apache-nutch-1.7.job org.apache.nutch.crawl.CrawlDbReader crawl/crawldb -stats -sort会发现好多unfetched，原因是：nutch-default.xml对generate的时候进行....
分类：
其他好文 时间：
2014-08-28 20:56:46
阅读次数：
254
今天在centos6.3上搭建了hadoop+hive＋spark系统，在运行/usr/local/spark-1.0.0/bin/spark-shell出现找不到hive相关的类，于是修改了spark-env.sh在spark_classpath里添加了hive的库路径exportSPARK_CLASSPATH=/usr/local/spark-1.0.0/lib_managed/jars/spark-assembly-1.0.0-..
分类：
其他好文 时间：
2014-08-28 15:00:30
阅读次数：
339
orderby sort by distribute by的优化...
分类：
其他好文 时间：
2014-08-28 13:19:09
阅读次数：
294
http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html#%E7%A1%AC%E4%BB%B6%E9%94%99%E8%AF%AF
分类：
其他好文 时间：
2014-08-27 23:25:09
阅读次数：
203
