? 一,什么是RDD? 官方定义 :RDD是弹性分布式数据集。 1. 不可变的:类似于scala中的不可变集合,对集合进行转换操作的时候,产生新的集合RDD。 2. 分区的:每个RDD集合有多个分区组成,分区就是很多部分。 3. 并行操作:对RDD集合中的数据操作时,可以同时对所有的分区并行操作 五 ...
分类:
其他好文 时间:
2019-11-22 15:28:06
阅读次数:
62
"深入理解Kafka必知必会(1)" Kafka目前有哪些内部topic,它们都有什么特征?各自的作用又是什么? __consumer_offsets:作用是保存 Kafka 消费者的位移信息 __transaction_state:用来存储事务日志消息 优先副本是什么?它有什么特殊的作用? 所谓的 ...
分类:
其他好文 时间:
2019-11-22 00:53:53
阅读次数:
58
上一篇说到Spark的yarn client运行模式,它与yarn cluster模式的主要区别就是前者Driver是运行在客户端,后者Driver是运行在yarn集群中。yarn client模式一般用在交互式场景中,比如spark shell, spark sql等程序,但是该模式下运行在客户端 ...
分类:
其他好文 时间:
2019-11-18 22:14:29
阅读次数:
101
flink支持的数据类型Flink对DataSet和DataStream中可使用的类型加了一些约束。原因是系统可以通过分析这些类型来确定有效的执行策略和选择不同的序列化方式。有7种不同的数据类型:1.java Tuple 和 Scala Case类:2.java POJO(指那些没有从任何类集成,也 ...
分类:
其他好文 时间:
2019-11-18 22:00:50
阅读次数:
132
一:集合 主要的集合特质 scala集合中重要的特质: Trait(Iterable) Trait(Seq) Trait(Set) Trait(Map) Trait(IndexedSeq) Trait(SoredSet) Trait(SoredMap) Seq是一个有先后次序的值的序列,比如数组和列 ...
分类:
其他好文 时间:
2019-11-17 18:01:18
阅读次数:
81
问题1: 抽象成员初始化规则 ① 父类先初始化 ② 在初始化的过程中,如果 val 发生重写,只有最后一个重写生效。前面的会变成零值,后面的会直接继承。 参考资料:https://docs.scala-lang.org/tutorials/FAQ/initialization-order.html ...
分类:
其他好文 时间:
2019-11-16 23:27:33
阅读次数:
96
org.apache.flink flink-table-api-java-bridge_2.11 1.9.0 provided--> org.apache.flink flink-table-api-scala-bridge_2.11 1.9.0 pr... ...
分类:
编程语言 时间:
2019-11-15 20:19:36
阅读次数:
123
StreamTableEnvironment 该类包含sql解析、验证、优化、执行等各环节需要的元数据管理器 ,模块管理器(模块包含函数集、类型集、规则集) ,用户自定义函数管理器 ,线程池、sql解析器 。 DataType 定义了逻辑类型,并且对其底层实际物理类型进行暗示。 LogicalTyp ...
分类:
数据库 时间:
2019-11-11 18:23:01
阅读次数:
112
fastjson无法转换 case class 为json ...
分类:
Web程序 时间:
2019-11-11 00:29:26
阅读次数:
249