1、执行一个简单的job任务时，map完成100%，reduce一直0.00%，看log日志，一直重复copy,看不出什么。最后等很长时间，报错如下：最后，从网上找到解决方法：就是/etc/sysconfig/network中定义的HOSTNAME=cm134和/etc/hosts指定的不一样，或者是在命令行下#hostname获取的主机名..
分类：
其他好文 时间：
2014-08-30 11:21:29
阅读次数：
239
问题解决：这个错误是：yarn里面的配置的格式有错误：如：yarn.resourcemanager.addressMaster:8032 在标签之间不能有空格。去掉空格OK。异常堆栈如下2014-08-30 10:20:30,171 INFO org.apache.hadoop.service.A....
分类：
其他好文 时间：
2014-08-30 11:06:39
阅读次数：
927
DEPRECATED: Use of this script to execute hdfs command is deprecated.本人安装的hadoop版本是2.4.0的，但每次执行命令时都会显示下面的信息hadoop@VM_160_34_centos:/usr/local/hadoop-2...
分类：
其他好文 时间：
2014-08-29 22:35:28
阅读次数：
265
1、新版本2.4.1中，profile/hadoop-env.sh中均己设置JAVA_HOME，java-version也正常。启动时报错：[root@nn~]#start-all.shStartingnamenodeson[]localhost:Error:JAVA_HOMEisnotsetandcouldnotbefound.localhost:Error:JAVA_HOMEisnotsetandcouldnotbefound....startingyarnda..
分类：
其他好文 时间：
2014-08-29 16:17:28
阅读次数：
155
初次在VM上配置Hadoop，开了三台虚拟机，一个作namenode,jobtracker另外两台机子作datanode,tasktracker配置好后，启动集群通过http://localhost:50700查看cluster状况Hadoop配置datanode无法连接到master发现没有dat...
分类：
其他好文 时间：
2014-08-29 15:54:18
阅读次数：
201
编程
Producer是一个应用程序，它创建消息并发送它们到Kafka broker中。这些producer在本质上是不同。比如，前端应用程序，后端服务，代理服务，适配器对于潜在的系统，Hadoop对于的Producer。这些不同的Producer能够使用不同的语言实现，比如java、C和Python。下面的这部图表解释了消息producer的Kafka API.
下面将详...
分类：
其他好文 时间：
2014-08-29 11:03:57
阅读次数：
277
hadoop 学习笔记：mapreduce框架详解 开始聊mapreduce，mapreduce是hadoop的计算框架，我 学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研...
分类：
其他好文 时间：
2014-08-28 21:18:16
阅读次数：
355
bin/hadoop jar apache-nutch-1.7.job org.apache.nutch.crawl.CrawlDbReader crawl/crawldb -stats -sort会发现好多unfetched，原因是：nutch-default.xml对generate的时候进行....
分类：
其他好文 时间：
2014-08-28 20:56:46
阅读次数：
254
今天在centos6.3上搭建了hadoop+hive＋spark系统，在运行/usr/local/spark-1.0.0/bin/spark-shell出现找不到hive相关的类，于是修改了spark-env.sh在spark_classpath里添加了hive的库路径exportSPARK_CLASSPATH=/usr/local/spark-1.0.0/lib_managed/jars/spark-assembly-1.0.0-..
分类：
其他好文 时间：
2014-08-28 15:00:30
阅读次数：
339
orderby sort by distribute by的优化...
分类：
其他好文 时间：
2014-08-28 13:19:09
阅读次数：
294
