RDD操作分为转换操作和行动操作。 对于RDD而言，每一次的转化操作都会产生不同的RDD，供一个操作使用。 我们每次转换得到的RDD是惰性求值的 也就是说，整个转换过程并不是会真正的去计算，而是只记录了转换的轨迹。 当遇到行动操作的时候，才会发生真正的计算，从DAG图的源头开始进行“从头到尾”的计算 ...
分类：
其他好文 时间：
2018-05-04 14:03:12
阅读次数：
135
---java实现---自然语言处理---用隐马尔科夫模型（HMM）实现词性标注---1998年1月份人民日报语料---learn---test---evaluation---Demo--- ...
分类：
编程语言 时间：
2018-05-03 20:47:09
阅读次数：
711
做项目的过程中，经常需要把数据里里的数据读出来，经过加工，以word格式输出。 在网上找了很多解决方案都不太理想，偶尔发现了PageOffice，一个国产的Office插件，开发调用非常简单！比网上介绍的poi，jacob等解决方按容易上手多了！功能接口虽然没有poi，jacob那么多，但是满足了一 ...
分类：
编程语言 时间：
2018-05-02 17:28:13
阅读次数：
196
Spark RDD 1、课程目标 1、掌握RDD的原理 2、熟练使用RDD的算子来完成计算任务 3、掌握RDD的宽窄依赖 4、掌握RDD的缓存机制 5、掌握划分stage 1、掌握RDD的原理 2、熟练使用RDD的算子来完成计算任务 3、掌握RDD的宽窄依赖 4、掌握RDD的缓存机制 5、掌握划分s ...
分类：
其他好文 时间：
2018-04-29 01:24:27
阅读次数：
159
SparkStreaming与Storm都可以用于进行实时流计算。但是他们两者的区别是非常大的。其中区别之一就是，SpankStreaming和Stom的计算模型完全不一样，SparkStreaming是基于RDD的，因此需要将一小段时间内的，比如1秒内的数据，收集起来，作为一个RDD.然后再针对这个batch的数据进行处理。而Storm却可以做到每来一条数据，都可以立即进行处理和计算。因此，Sp
分类：
其他好文 时间：
2018-04-28 15:50:42
阅读次数：
289
Spark笔记整理（五）：Spark RDD持久化、广播变量和累加器
分类：
其他好文 时间：
2018-04-27 20:02:42
阅读次数：
173
Spark作为一个开源数据处理框架，它在数据计算过程中把中间数据直接缓存到内存里，能大大地提高处理速度，特别是复杂的迭代计算。Spark主要包括SparkSQL，SparkStreaming，SparkMLLib以及图计算。Spark核心概念简介1、RDD即弹性分布式数据集，通过RDD可以执行各种算子实现数据处理和计算。比如用Spark做统计词频，即拿到一串文字进行WordCount，可以把这个文
分类：
其他好文 时间：
2018-04-26 14:54:19
阅读次数：
174
Spark笔记整理（二）：RDD与spark核心概念名词
分类：
其他好文 时间：
2018-04-25 18:56:43
阅读次数：
170
1.取出一个新闻列表页的全部新闻 包装成函数。2.获取总的新闻篇数，算出新闻总页数。3.获取全部新闻列表页的全部新闻详情。 4.找一个自己感兴趣的主题，进行数据爬取，并进行分词分析。不能与其它同学雷同。 ...
分类：
其他好文 时间：
2018-04-11 22:18:46
阅读次数：
200
