一个简单的 Streamin wordCount 1、wordCountDir：是一个目录，对于目录中的新文件才有效，目录中已存在的文件是无视的 2、复制文件进这个目录，文件需要有后缀名，可能有一个机制，对于没有后缀名的文件，会过滤掉，当成文件夹处理 ...
分类：
其他好文 时间：
2017-09-12 23:18:39
阅读次数：
222
初学storm，有不足的地方还请纠正。 网上看了很多wordcount实例，发现都不是我想要的。 实现场景：统计shengjing.txt词频到集合，一次打印结果。 ● 消息源Spout 继承BaseRichSpout类 / 实现IRichSpout接口 open，初始化动作； nextTuple， ...
分类：
其他好文 时间：
2017-09-08 13:15:25
阅读次数：
201
一、打开文件 open()函数 1.定义 open(name[,mode[,buffering]]) #name为文件名， mode模式和buffering缓冲为可选 2.解释定义 mode模式 》'r','w','a','b','+'分别为读、写、追加、二进制、读写 bufferring 》 0或 ...
分类：
编程语言 时间：
2017-09-07 14:49:47
阅读次数：
96
Hadoop MapReduce 官方教程 -- WordCount示例 ...
分类：
其他好文 时间：
2017-09-07 09:59:14
阅读次数：
98
0.前言前面一篇《Hadoop初体验：快速搭建Hadoop伪分布式环境》搭建了一个Hadoop的环境，现在就使用Hadoop自带的wordcount程序来做单词统计的案例。1.使用示例程序实现单词统计（1）wordcount程序wordcount程序在hadoop的share目录下，如下：[root@leafmapreduce]#pwd
/usr/loca..
分类：
其他好文 时间：
2017-09-03 23:54:37
阅读次数：
229
程序代码为 ~\hadoop-2.7.4\share\hadoop\mapreduce\sources\hadoop-mapreduce-examples-2.7.4-sources\org\apache\hadoop\examples\WordCount.java 第一次 删除了package i ...
分类：
系统相关 时间：
2017-09-02 19:10:16
阅读次数：
187
配置 ubuntu14.04 伪分布式 hadoop1.04 wordcount入门程序， 摘自hadoop基础教程 ...
分类：
其他好文 时间：
2017-09-01 23:07:11
阅读次数：
124
eclipse下执行wordcount报错java.lang.ClassNotFoundException17/08/2907:52:54INFOConfiguration.deprecation:fs.default.nameisdeprecated.Instead,usefs.defaultFS17/08/2907:52:54WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuilt..
分类：
编程语言 时间：
2017-08-30 11:09:58
阅读次数：
1210
bin/spark-submit --packages org.apache.spark:spark-streaming-kafka_2.10:1.6.2 examples/src/main/python/streaming/kafka_wordcount.py localhost:2181 tes ...
分类：
其他好文 时间：
2017-08-26 17:04:40
阅读次数：
371
思考：在spark的wordcount过程一共产生多少个RDD？ 通过该命令（scala> rdd.toDebugString）可以查看RDD的依赖关系 （6个，除了图中的五个，rdd.saveAsTextFile也还会产生一个RDD） 接下来一步步分析（通过查看spark源码进行分析） (1) s ...
分类：
其他好文 时间：
2017-08-24 21:18:21
阅读次数：
660
