首先创建好项目工程，如下图：完善pom.xml文件，具体为：（依据自己的spark版本做修改）<dependencies><dependency><groupId>org.scala-lang</groupId><artifactId>scala-library</artifactId><version>2.11.
分类：
其他好文 时间：
2020-07-14 09:21:08
阅读次数：
78
Spark 源码解读（一）SparkContext的初始化之TaskScheduler的启动 TaskScheduler创建完成之后，需要调用start()方法才可以生效，SparkContext的代码如下： _taskScheduler.start() TaskScheduler在启动的时候，实际 ...
分类：
其他好文 时间：
2020-07-14 00:25:58
阅读次数：
81
数据算法 Hadoop Spark大数据处理技巧 ...
分类：
编程语言 时间：
2020-07-13 18:11:22
阅读次数：
80
tophua/spark-machine-learning-book Spark机器学习书代码 25 Jupyter Notebook Updated on 22 Dec 2017 zengxiaosen/eshop 电商+大数据+spark机器学习 11 Java Updated on 5 Dec ...
分类：
其他好文 时间：
2020-07-13 18:02:05
阅读次数：
74
水平有限，本文仅以流水账的方式 介绍自己 安装 三款软件 的过程。 环境Ubuntu on 虚拟机： $ cat /proc/version Linux version 4.15.0-54-generic (buildd@lgw01-amd64-014) (gcc version 7.4.0 \(U ...
分类：
其他好文 时间：
2020-07-13 13:14:44
阅读次数：
63
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 出现这个问题的原因是我们在windows上模拟开发环境，但并没有真正的搭建hadoop和spark 解决办法： ...
SparkSQL在机器学习场景中应用第四范式已经在很多行业落地了上万个AI应用，比如在金融行业的反欺诈，媒体行业的新闻推荐，能源行业管道检测，而SparkSQL在这些AI应用中快速实现特征变换发挥着重要的作用SparkSQL在特征变换主要有一下几类1.多表场景，用于表之间拼接操作，比如交易信息表去拼接账户表2.使用udf进行简单的特征变换，比如对时间戳进行hour函数处理3.使用时间窗口和udaf
分类：
数据库 时间：
2020-07-09 17:54:20
阅读次数：
99
使用Pycharm社区版新建Python3.7的虚拟环境并安装启动Django的完整步骤 这段日子一直跟着网上某视频教程学习Python，熬过了前面的基础课，终于到了Django的内容，但教程中对于Django的安装介绍不是很详细，也没有提到虚拟环境。于是自己上网搜索了一下，结果发现无论是虚拟环境的 ...
分类：
编程语言 时间：
2020-07-09 15:01:53
阅读次数：
160
Concept http://spark.apache.org/streaming/ Spark Streaming makes it easy to build scalable fault-tolerant streaming applications. Ease of Use Build ap ...
分类：
其他好文 时间：
2020-07-08 13:26:09
阅读次数：
59
repartition repartition 有三个重载的函数： 1) def repartition(numPartitions: Int): DataFrame /** * Returns a new [[DataFrame]] that has exactly `numPartitions` ...
分类：
数据库 时间：
2020-07-08 13:17:49
阅读次数：
93
