上篇已经降到AppClient找Master进行注册，本章主要解析Master的原理和源码解析 1、Master的主备切换原理 package org.apache.spark.deploy.master completeRecovery，过滤没有响应的worker，app，drivers，从内存缓 ...
分类：
其他好文 时间：
2020-05-11 15:54:04
阅读次数：
62
.NET for Spark可用于处理成批数据、实时流、机器学习和ad-hoc查询。在这篇博客文章中，我们将探讨如何使用.NET for Spark执行一个非常流行的大数据任务，即日志分析。 1 什么是日志分析？ 日志分析的目标是从这些日志中获得有关工具或服务的活动和性能的有意义的见解。NET fo ...
分类：
Web程序 时间：
2020-05-11 09:13:31
阅读次数：
92
链接：https://pan.baidu.com/s/1nGkLfRy9izODONbMbLO8rA 提取码：rjpn ...
分类：
其他好文 时间：
2020-05-10 23:13:35
阅读次数：
61
源码解析 主构造函数代码 private[spark] var (schedulerBackend, taskScheduler) = SparkContext.createTaskScheduler(this, master) createTaskScheduler，创建TaskScheduler ...
分类：
其他好文 时间：
2020-05-10 23:08:55
阅读次数：
63
1. 准备 Hudi支持Spark 2.x版本，你可以点击如下 "链接" 安装Spark，并使用pyspark启动 spark avro模块需要在 packages显示指定 spark avro和spark的版本必须匹配 本示例中，由于依赖spark avro_2.11，因此使用的是scala2.1 ...
分类：
Web程序 时间：
2020-05-10 17:37:32
阅读次数：
124
1、读取Mysql数据 object JdbcRddDemo { def getConn() = { Class.forName("com.mysql.jdbc.Driver").newInstance() DriverManager.getConnection("jdbc:mysql://hado ...
分类：
数据库 时间：
2020-05-10 17:31:37
阅读次数：
97
JDBC 以MySQL为例 读取 import java.sql.DriverManager import org.apache.spark.rdd.JdbcRDD import org.apache.spark.{SparkConf, SparkContext} /** * Author atgu ...
分类：
数据库 时间：
2020-05-09 23:21:09
阅读次数：
86
1.写在前面 在利用spark计算引擎将kafka或其他源数据组件的数据入hive形成数仓的过程中有两种方式，一种方式是利用spark Rdd的API将数据写入hdfs形成hdfs文件，之后再将文件和hdfs文件和hive表做加载映射。第二种方式是利用sparkSQL将获取的数据Rdd转换成data ...
分类：
数据库 时间：
2020-05-09 19:20:15
阅读次数：
100
spark sql使用自己封装的livy 引擎执行时有丢失数据情况。排查发现livy session页面中的sql有中文乱码。 之后在livy 源码中未找到相关序列化指定字符集的代码。回头排查自己的代码 修改完毕后重新执行 观察livy session中的sql。 果然乱码没了,执行结果集跟spar ...
分类：
Web程序 时间：
2020-05-09 16:39:29
阅读次数：
91
关注公众号：分享电脑学习回复"百度云盘" 可以免费获取所有学习文档的代码（不定期更新）云盘目录说明：tools目录是安装包res 目录是每一个课件对应的代码和资源等doc 目录是一些第三方的文档工具 承接上一篇文档《Spark案例练习-PV的统计》 参数说明： 继续上面的PV代码编写即可 思路：UV ...
分类：
其他好文 时间：
2020-05-09 01:15:58
阅读次数：
65
