1 例子jar位置 2 生成数据文件 3 创建HDFS目录 4 将数据文件word.txt上传以HDFS /work/data/input目录下 5 运行wordcount例子 6 查看结果 ...
分类：
其他好文 时间：
2017-11-12 11:08:42
阅读次数：
201
Standalone与Yarn启动和运行时间测试： 写一个简单的wordcount： 打包上传运行： Standalone启动： 运行时间： Yarn启动： 运行时间： 测试结果： Standalone要比Yarn启动快10-15s ...
分类：
其他好文 时间：
2017-11-04 13:15:27
阅读次数：
140
一、Hadoop中的计数器 计数器：计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们通常可以在程序的某个位置插入计数器，用来记录数据或者进度的变化情况，它比日志更便利进行分析。 例如，我们有一个文件，其中包含如下内容： 它被WordCount程序执行后显示如下日志： 在上图所示 ...
分类：
其他好文 时间：
2017-11-03 13:08:32
阅读次数：
140
我的环境是：Ubuntu14.04+Hadoop2.6.0+JDK1.8.0_25 官网2.6.0的安装教程：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html 为了方面配 ...
分类：
系统相关 时间：
2017-10-29 13:55:04
阅读次数：
226
hdfs dfs -mkdir /input hdfs dfs -rmr /output hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar wordcount /input /outpu ...
分类：
系统相关 时间：
2017-10-25 21:29:31
阅读次数：
151
当我们运行wordcount代码时，出现报错，如下所示： An internal error occurred during: "Map/Reducelocation status updater".java.lang.NullPointerException 原因： 解决方案： 后序：运行word ...
分类：
编程语言 时间：
2017-10-25 13:05:48
阅读次数：
408
Dim dFilePath As Object, OneKey Sub main_proc() Dim Wb As Workbook, Sht As Worksheet, Rng As Range Set Wb = Application.ThisWorkbook Set Sht = Wb.Work... ...
分类：
编程语言 时间：
2017-10-23 20:01:36
阅读次数：
234
1、worldcount类中主要有三部分 public class Wordcount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{ //mapper类 } public ...
分类：
其他好文 时间：
2017-10-16 23:14:40
阅读次数：
154
导读： 第一章：初识Hadoop第二章：更高效的WordCount第三章：把别处的数据搞到Hadoop上第四章：把Hadoop上的数据搞到别处去第五章：快一点吧，我的SQL第六章：一夫多妻制第七章：越来越多的分析任务第八章：我的数据要实时第九章：我的数据要对外第十章：牛逼高大上的机器学习 经常有初学 ...
分类：
其他好文 时间：
2017-10-12 19:06:15
阅读次数：
180
