生态 Spark Core：最重要，其中最重要的是RDD（弹性分布式数据集） Spark SQL Spark Streaming Spark MLLib：机器学习算法 Spark Graphx：图计算 特点 针对大规模数据处理的快速通用引擎 基于内存计算 速度快，易用，兼容性强 体系架构 主节点：C ...
分类：
数据库 时间：
2020-06-03 20:48:29
阅读次数：
89
###概述 Structured Streaming 是 Spark 2.0 引入的功能，有以下特点 基于 Spark SQL engine 可以直接使用 DataSet/DataFrame API，就像处理离线的批数据一样 Spark SQL engine 持续地、增量地处理流数据 支持 stre ...
分类：
其他好文 时间：
2020-05-29 21:22:01
阅读次数：
77
Spark Streaming 是什么 1、SPark Streaming 是 Spark 中一个组件，基于 Spark Core 进行构建，用于对流式进行处理，类似于 Storm。2、Spark Streaming 能够和 Spark Core、Spark SQL 来进行混合编程。3、Spark ...
分类：
其他好文 时间：
2020-05-29 19:33:56
阅读次数：
53
（1）代码示例 1 import org.apache.flink.streaming.api.scala._ 2 3 object StreamWordCount { 4 def main(args:Array[String]):Unit={ 5 //创建流处理的执行环境 6 val env=St ...
分类：
其他好文 时间：
2020-05-26 22:09:36
阅读次数：
92
unclean.leader.election.enable 为true的话，意味着非ISR集合的broker 也可以参与选举，这样有可能就会丢数据，spark streaming在消费过程中拿到的 end offset 会突然变小，导致 spark streaming job挂掉。如果unclea ...
分类：
其他好文 时间：
2020-05-25 14:01:02
阅读次数：
89
DStream的转化操作DStreamAPI提供的与转化操作相关的方法如下：如下举例详解transform(func)方法和updateStateByKey(fhnc)方法：（1）、transform(func)方法transform方法及类似的transformWith(func)方法允许在DStream上应用任意RDD-to-RDD函数，它们可以被应用于未在DStreamAPI中暴露的任何RD
分类：
其他好文 时间：
2020-05-24 10:00:38
阅读次数：
88
Maven常用命令说明 mvn clean：表示运行清理操作（会默认把target文件夹中的数据清理）； mvn clean compile：表示先运行清理之后运行编译，会将代码编译到target文件夹中； mvn clean test：运行清理和测试； mvn clean package：运行清理 ...
分类：
其他好文 时间：
2020-05-15 13:46:25
阅读次数：
56
参考文章： https://blog.csdn.net/a1728351227/article/details/103638106 实现游戏的存读档有三个方式二进制方法XMLJSON对比二进制方法：简单，但可读性差。XML：可读性强，但是文件庞大，冗余信息多。JSON：数据格式比较简单，易于读写，但 ...
分类：
编程语言 时间：
2020-05-12 09:47:42
阅读次数：
234
类定义：class HttpResponse[source] HttpResponse类定义在django.http模块中。 HttpRequest对象由Django自动创建，而HttpResponse对象则由程序员手动创建. 我们编写的每个视图都要实例化、填充和返回一个HttpResponse对象 ...
分类：
Web程序 时间：
2020-05-06 10:22:00
阅读次数：
79
1 package com.bawei.stream 2 3 import java.net.InetSocketAddress 4 5 import org.apache.spark.storage.StorageLevel 6 import org.apache.spark.streaming. ...
分类：
Web程序 时间：
2020-05-05 18:21:50
阅读次数：
79
