本节内容 1.遗留问题解答 2.Spark核心概念 2.1 RDD及RDD操作 2.2 Transformation和Action 2.3 Spark程序架构 2.4 Spark on Yarn运行流程 2.5 WordCount执行原理 3.Spark计算引擎原理 3.1 Spark内部原理 3. ...
分类：
其他好文 时间：
2017-05-07 23:09:24
阅读次数：
240
本节内容 1.遗留问题答疑 1.1 典型问题解答 1.2 知识点回顾 2.Spark编程基础 2.1 Spark开发四部曲 2.2 RDD典型实例 2.3 非RDD典型实例 3.问题解答 4.参考资料 每一次答疑阶段，我都会站在老师的角度去思考一下，如果是我，我应该怎么回答，每每如此，不禁吓出一身冷 ...
分类：
其他好文 时间：
2017-05-07 23:09:16
阅读次数：
181
本节内容 · Spark为什么要分区 · Spark分区原则及方法 · Spark分区案例 · 参考资料 一、Spark为什么要分区 分区概念：分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式决定了并行计算的粒度，而每个分区的数值计算都是 ...
分类：
其他好文 时间：
2017-05-07 22:07:32
阅读次数：
234
本节内容 1.Spark背景介绍 2.Spark是什么 3.Spark有什么 4.Spark部署 4.1.Spark部署的2方面 4.2.Spark编译 4.3.Spark Standalone部署 4.4.Standalone HA配置 4.5.伪分布式部署 5.Spark任务提交 5.1.Spa ...
分类：
其他好文 时间：
2017-05-07 22:02:05
阅读次数：
246
本节内容 1.流式处理系统背景 1.1 技术背景 1.2 Spark技术很火 2.流式处理技术介绍 2.1流式处理技术概念 2.2流式处理应用场景 2.3流式处理系统分类 3.流式处理技术关键技术 3.1流式处理系统管道构建 3.2流式处理系统关键技术 3.3用户行为分析系统介绍 4.问题答疑 5. ...
分类：
其他好文 时间：
2017-05-07 21:59:48
阅读次数：
334
本节内容 1.大数据基础 1.1大数据平台基本框架 1.2学习大数据的基础 1.3学习Spark的Hadoop基础 2.Hadoop生态基本介绍 2.1Hadoop生态组件介绍 2.2Hadoop计算框架介绍 3.Spark概述 3.1 Spark出现的技术背景 3.2 Spark核心概念介绍 4. ...
分类：
其他好文 时间：
2017-05-07 21:59:08
阅读次数：
317
任务目的 在上一任务基础上继续JavaScript的体验 深入学习JavaScript的事件机制及DOM操作 学习事件代理机制 学习简单的表单验证功能 学习外部加载JavaScript文件 任务描述 参考以下示例代码，用户输入城市名称和空气质量指数后，点击“确认添加”按钮后，就会将用户的输入在进行验 ...
分类：
编程语言 时间：
2017-05-06 15:13:52
阅读次数：
261
RDD真的是一个很晦涩的词汇，他就是伯克利大学的博士们在论文中提出的一个概念，很抽象，很难懂；但是这是spark的核心概念，因此有必要spark rdd的知识点，用最简单、浅显易懂的词汇描述。不想用学术话的语言来阐述RDD是什么，用简单、容易理解的方式来描述。 一、什么是RDD，RDD出现的背景 M ...
分类：
其他好文 时间：
2017-05-06 01:07:55
阅读次数：
189
本节内容： · Spark转换 RDD操作实例 · Spark行动 RDD操作实例 · 参考资料 关于学习编程方式的，每个人都有自己的方式。对我个人来说，最好的方法还是多动手写demo，要多写代码，才能理解的更加深刻，本节以例子的形式讲解各个Spark RDD的使用方法和注意事项，本文一共讲解了20 ...
分类：
系统相关 时间：
2017-05-06 01:05:37
阅读次数：
227
经过一段时间的学习和测试，是时候给spark的学习经历做一个总结了，对于spark的了解相对晚了写。春节期间（预计是无大事)，本博准备推出20篇左右spark系列原创文章（先把牛吹出去再说） ，尽量将枯燥无味的技术讲的通俗易懂- r.kelly 2013年的时候第一次听说spark这么个神器，那时候 ...
分类：
其他好文 时间：
2017-05-06 01:05:00
阅读次数：
203
