spark参数介绍 https://endymecy.gitbooks.io/spark-config-and-tuning/content/config.html ...
分类：
其他好文 时间：
2019-12-26 14:53:55
阅读次数：
65
一 问题 hivesql可以正常运行，spark3.0运行报错如图 spark3.0配置 查看源码新增一个 val STORE_ASSIGNMENT_POLICY = buildConf("spark.sql.storeAssignmentPolicy") .doc("When inserting ...
分类：
数据库 时间：
2019-12-25 20:34:49
阅读次数：
162
流数据的窗口操作：窗口操作，即把几个批次的数据整合到一个窗口里计算，并且窗口根据步长不断滑动。 本质：把小批次，小颗粒的数据任意进行大批次和大颗粒的数据统计，意味着批次采集周期不用设置太大，可以通过滑动窗口来调整数据出现的粒度。 code: package com.home.spark.stream ...
分类：
其他好文 时间：
2019-12-25 17:36:28
阅读次数：
93
在windows上执行的时候，option(“timestampFormat”, “yyyy/MM/dd HH:mm:ss ZZ”)必须带上，不然报错： Exception in thread "main" java.lang.IllegalArgumentException: Illegal pa ...
分类：
编程语言 时间：
2019-12-24 23:47:57
阅读次数：
147
目录 一、Spark SQL介绍 二、Spark和Hive的整合 三、Spark的thriftserve2/beeline/jdbc 四、shell方式使用SQL 一、Spark SQL介绍 官网：http://spark.apache.org/sql/ 学习文档：http://spark.apac ...
分类：
数据库 时间：
2019-12-24 23:44:13
阅读次数：
353
自定义用户函数有两种方式，区别：是否使用强类型，参考demo：https://github.com/asker124143222/spark-demo 1、不使用强类型，继承UserDefinedAggregateFunction package com.home.spark import org. ...
分类：
数据库 时间：
2019-12-24 19:01:05
阅读次数：
134
Spark MLlib Spark分布式计算原理 Spark（分布式的计算平台），分布式：指计算节点之间不共享内存，需要通过网络通信的方式交换数据。Spark最典型的应用方式是建立在大量廉价计算节点（廉价主机、虚拟的docker container）上；但这种方式区别于CPU+GPU的架构和共享内存 ...
分类：
其他好文 时间：
2019-12-24 18:26:47
阅读次数：
182
RcoketMQ：【 1.低延时：在高压下，1毫秒内超过99.6%的反应延迟。 2.面向金融：具有跟踪和审计功能的高可用性。 3.行业可持续发展：保证了万亿级的消息容量。 4.厂商中立：一个新的开放的分布式消息和流媒体标准自最新的4.1版本。 5.BigData友好：批量转移与多功能集成的洪水吞吐量 ...
分类：
其他好文 时间：
2019-12-24 12:04:42
阅读次数：
104
接口概念 Java接口是一系列方法的声明，是一些方法特征的集合，一个接口只有方法的特征没有方法的实现，因此这些方法可以在不同的地方被不同的类实现，而这些实现可以具有不同的行为（功能）。 以下是个人理解： 在软件开发过程中，当我们开发一个大型项目的时候，可能很多人一起共同开发一个项目，但是整个项目分为 ...
分类：
编程语言 时间：
2019-12-23 22:33:08
阅读次数：
107
https://stackoverflow.com/questions/52659109/cannot read from elasticsearch using pyspark https://stackoverflow.com/questions/35982550/how to read dat ...
分类：
其他好文 时间：
2019-12-23 18:29:41
阅读次数：
104
