Hi everyone! My name is Yuwei, and I'm a senior major in computer science. I enjoy meditation and jogging, and I feel like my soul is in a state of pe ...
分类：
其他好文 时间：
2020-07-11 10:08:34
阅读次数：
97
(1) INTRODUCTION We start our study of "World History" with the earliest human migration, almost 2 million years ago! Studies show that Africa is the ...
分类：
其他好文 时间：
2020-07-11 09:45:45
阅读次数：
46
Around 10,000 B.C., with the end of the ice ages, people began to settle down in one place and grow crops and domesticate animals. This was the "agric ...
分类：
其他好文 时间：
2020-07-11 09:30:40
阅读次数：
63
SparkSQL在机器学习场景中应用第四范式已经在很多行业落地了上万个AI应用，比如在金融行业的反欺诈，媒体行业的新闻推荐，能源行业管道检测，而SparkSQL在这些AI应用中快速实现特征变换发挥着重要的作用SparkSQL在特征变换主要有一下几类1.多表场景，用于表之间拼接操作，比如交易信息表去拼接账户表2.使用udf进行简单的特征变换，比如对时间戳进行hour函数处理3.使用时间窗口和udaf
分类：
数据库 时间：
2020-07-09 17:54:20
阅读次数：
99
BOM BOM - Browser Object Model ( 浏览器对象模型 )，BOM 主要用于操作与管理浏览器相关状态。BOM 由以 window 对象为主以及其他常用对象如 navigator 、location 、history 、screen 、document 等等功能各异的对象组成 ...
分类：
其他好文 时间：
2020-07-08 18:15:00
阅读次数：
65
Concept http://spark.apache.org/streaming/ Spark Streaming makes it easy to build scalable fault-tolerant streaming applications. Ease of Use Build ap ...
分类：
其他好文 时间：
2020-07-08 13:26:09
阅读次数：
59
repartition repartition 有三个重载的函数： 1) def repartition(numPartitions: Int): DataFrame /** * Returns a new [[DataFrame]] that has exactly `numPartitions` ...
分类：
数据库 时间：
2020-07-08 13:17:49
阅读次数：
93
Spark 源码解读（五）SparkContext的初始化之创建和启动DAGScheduler DAGScheduler主要用于在任务正式提交给TaskSchedulerImpl提交之前做一些准备工作，包括：创建job,将DAG中的RDD划分到不同的Stage,提交Stage等等。SparkCont ...
分类：
其他好文 时间：
2020-07-07 23:39:16
阅读次数：
102
1.分区的作用 RDD 使用分区来分布式并行处理数据, 并且要做到尽量少的在不同的 Executor 之间使用网络交换数据, 所以当使用 RDD 读取数据的时候, 会尽量的在物理上靠近数据源, 比如说在读取 Cassandra 或者 HDFS 中数据的时候, 会尽量的保持 RDD 的分区和数据源的分 ...
分类：
其他好文 时间：
2020-07-07 13:11:09
阅读次数：
164
本文已收录GitHub，更有互联网大厂面试真题，面试攻略，高效学习资料等近些年来，开源流处理领域涌现出了很多优秀框架。光是在Apache基金会孵化的项目，关于流处理的大数据框架就有十几个之多，比如早期的ApacheSamza、ApacheStorm，以及这两年火爆的Spark以及Flink等。应该说，每个框架都有自己独特的地方，也都有自己的缺陷。面对这众多的流处理框架，我们应该如何选择呢？在本文汇
分类：
其他好文 时间：
2020-07-07 11:38:26
阅读次数：
67
