字典实例：建立学生学号成绩字典，做增删改查遍历操作。 列表，元组，字典，集合的遍历。总结列表，元组，字典，集合的联系与区别。 英文词频统计实例 A.待分析字符串 B.分解提取单词 a.大小写 txt.lower() b.分隔符'.,:;?!-_’ c.单词列表 C.单词计数字典 1.答： a=('2 ...
分类：
其他好文 时间：
2017-09-22 13:02:49
阅读次数：
127
1.字典实例：建立学生学号成绩字典，做增删改查遍历操作。 2.列表，元组，字典，集合的遍历。 总结列表，元组，字典，集合的联系与区别。 3.英文词频统计实例 A.待分析字符串 B.分解提取单词 a.大小写 txt.lower() b.分隔符'.,:;?!-_’ c.单词列表 C.单词计数字典 结果： ...
分类：
其他好文 时间：
2017-09-22 11:52:24
阅读次数：
176
目标：sparkStreaming每2s中读取一次kafka中的数据，进行单词计数。 topic:topic1 broker list:192.168.1.126:9092,192.168.1.127:9092,192.168.1.128:9092 1、首先往一个topic中实时生产数据。 代码如下 ...
分类：
其他好文 时间：
2017-09-13 09:51:50
阅读次数：
271
如果对Hadoop- MapReduce分布式计算框架原理还不熟悉的可以先了解一下它，因为本文的wordcount程序实现就是MapReduce分而治之最经典的一个范例。 单词计数（wordcount）主要步骤： 1.读数据 2.按行处理 3.按空格切分行内单词 4.HashMap（单词，value ...
分类：
其他好文 时间：
2017-08-15 10:20:24
阅读次数：
218
前言： 根据前面的几篇博客学习，现在可以进行MapReduce学习了。本篇博客首先阐述了MapReduce的概念及使用原理，其次直接从五个实验中实践学习（单词计数，二次排序，计数器，join，分布式缓存）。 一 概述 定义 MapReduce是一种计算模型，简单的说就是将大批量的工作（数据）分解（M ...
分类：
编程语言 时间：
2017-08-04 21:30:22
阅读次数：
869
Storm的数据从Spout采集后，交给Blot组件处理，数据在Blot之间流动时，会涉及到数据流动的方向。这就是Storm的分组策略。 从WordCount的单词拆分到单词计数，会使用按字段的分组策略来拆分单词，并分配到不同的Count Blot中计算。 ...
分类：
其他好文 时间：
2017-07-22 00:05:30
阅读次数：
197
import java.io.File; import java.io.IOException; import java.util.Collection; import java.util.HashMap; import java.util.List; import java.util.Map; i ...
分类：
其他好文 时间：
2017-06-20 17:49:22
阅读次数：
187
上一篇随笔中我介绍了Storm中的几个重要概念：Topology,tuple,Spout和Bolt。这几个核心概念是与Storm运算相关的，由于上节课关于单词计数的实例实在单机环境下通过核心包（storm-core-0.10.2.jar）模拟集群环境的，所以实际上并没有涉及到Storm集群的相关知识 ...
分类：
其他好文 时间：
2017-05-08 01:20:50
阅读次数：
304
MapReduce 应用举例:单词计数 WorldCount可以说是MapReduce中的helloworld了，下面来看看hadoop中的例子worldcount对其进行的处理过程，也能对mapreduce的执行过程有一个清晰的认识，特别是对于每一个阶段的函数执行所产生的键值对 单词 计数主要完成 ...
分类：
其他好文 时间：
2017-03-27 19:16:08
阅读次数：
310
关于MR的工作原理不做过多叙述，本文将对MapReduce的实例WordCount(单词计数程序)做实践，从而理解MapReduce的工作机制。 WordCount: 1.应用场景，在大量文件中存储了单词，单词之间用空格分隔 2.类似场景：搜索引擎中，统计最流行的N个搜索词，统计搜索词频率，帮助优化 ...
分类：
其他好文 时间：
2017-03-19 14:17:04
阅读次数：
328
