DataFrame的推出，让Spark具备了处理大规模结构化数据的能力，不仅比原有的RDD转化方式更加简单易用，而且获得了更高的计算性能。Spark能够轻松实现从MySQL到DataFrame的转化，并且支持SQL查询。 从上面的图中可以看出DataFrame和RDD的区别。RDD是分布式的 Jav ...
分类：
其他好文 时间：
2019-04-13 11:01:32
阅读次数：
108
一。介绍 Spark Streaming最主要的抽象是DStream（Discretized Stream，离散化数据流），表示连续不断的数据流。在内部实现上，Spark Streaming的输入数据按照时间片（如1秒）分成一段一段的DStream，每一段数据转换为Spark中的RDD，并且对DSt ...
分类：
其他好文 时间：
2019-04-13 10:30:28
阅读次数：
116
创建 在Spark SQL中SparkSession是创建DataFrame和执行SQL的入口，创建DataFrame有三种方式：通过Spark的数据源进行创建；从一个存在的RDD进行转换；还可以从Hive Table进行查询返回。 读取json文件创建DataFrame 注意：普通临时view是S ...
分类：
数据库 时间：
2019-04-11 14:33:27
阅读次数：
183
先上Demo 返回查询结果正确 现象 修改查询的SQL，返回的数据量不对。 原因 在触发Action的时候，Task在每个分区上的业务逻辑是相同的（id >= ? and id < ?"），只是读取的数据和处理的数据不一样。RDD根据数据量和分区数据，均匀地分配每个分区Task读取数据的范围。 分区 ...
分类：
数据库 时间：
2019-04-06 09:39:09
阅读次数：
338
考察spark自定义排序 方式一：自定义一个类继承Ordered和序列化，Driver端将数据变成RDD，整理数据转成自定义类类型的RDD，使用本身排序即可。 方式2：自定义一个类继承Ordered和序列化，Driver端将数据变成RDD，整理数据转成元组类型的RDD，使用就自定义类做排序规则。 方 ...
分类：
编程语言 时间：
2019-04-06 09:23:04
阅读次数：
141
Spark 一种基于内存的快速、通用、可扩展的大数据分析引擎； 内置模块： Spark Core(封装了rdd、任务调度、内存管理、错误恢复、与存储系统交互)； Spark SQL(处理结构化数据)、Spark Streaming(对实时数据进行流式计算) 、 Spark Mlib（机器学习程序库包 ...
分类：
其他好文 时间：
2019-04-06 00:35:59
阅读次数：
155
RDD的动作算子 reduce(func) 通过func函数聚集RDD中的所有元素，这个功能必须是可交换且可并联的。（符合结合律和交换律），func输入为两个元素，返回为一个元素。 def add(x,y): return x+y sc.parallelize([1, 2, 3, 4, 5]).re ...
分类：
其他好文 时间：
2019-04-05 12:03:04
阅读次数：
344
一.资源调度&任务调度 1.启动集群后，Worker节点会周期性的【心跳】向Master节点汇报资源情况，Master掌握集群资源情况。 2.当Spark提交一个Application后，根据RDD之间的依赖关系将Application构建成一个DAG有向无环图。 3.任务提交后，Spark会在Dr ...
分类：
其他好文 时间：
2019-04-04 20:36:22
阅读次数：
213
Java8函数式编程（二）：类比Spark RDD算子的Stream流操作
分类：
编程语言 时间：
2019-03-31 20:51:12
阅读次数：
222
因为论文关系要用到pyspark，具体情形如下： 有一个list=['aaa','bbb','ccc','ddd']，然后有一个rdd内数据类型是str，eg:'abcdefg'，正常如果是需要筛选数组包含的rdd数据可以定义一个broadcast，然后写成： 我的需求是要筛选str中包含有list ...
分类：
其他好文 时间：
2019-03-31 16:57:21
阅读次数：
225
