环境 Notebook docker环境 https://registry.hub.docker.com/r/jupyter/datascience-notebook/ 下载安装包 spark安装包 http://mirror.bit.edu.cn/apache/spark/spark-3.0.0/ ...
分类：
其他好文 时间：
2020-07-04 18:29:02
阅读次数：
83
启动kafka时，kafka进程无法启动，查阅log发现存在如下问题： 2020-07-04 10:44:54,659] ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServ ...
分类：
其他好文 时间：
2020-07-04 15:27:07
阅读次数：
53
方案一： <meta content="width=device-width, initial-scale=1.0, maximum-scale=1.0, user-scalable=0" name="viewport" /> 注释掉vue中public文件夹里面的meta标签 方案二： 在styl ...
分类：
移动开发 时间：
2020-07-03 23:45:16
阅读次数：
105
移动端浏览器主要针对webkit内核进行兼容 视口 viewport 浏览器显示页面内容的屏幕区域。可分为 布局视口、视觉视口、理想视口。 布局视口 layout viewport iOS、Android将这个布局视口分辨率一般设置为980px 视觉视口 visual viewport 用户正在看到 ...
分类：
移动开发 时间：
2020-07-03 19:52:41
阅读次数：
75
1. 背景描述和需求 数据分析程序部署在Docker中，有一些分析计算需要使用Spark计算，需要把任务提交到Spark集群计算。 接收程序部署在Docker中，主机不在Hadoop集群上。与Spark集群网络互通。 需求如下 1、在Docker中可程序化向Spark集群提交任务 2、在Docker ...
分类：
其他好文 时间：
2020-07-03 19:06:43
阅读次数：
62
项目来源厦门大学林子雨老师得Spark学习项目中，里面为部分项目代码和实验截图 读取文件 from pyspark import SparkConf, SparkContext from pyspark.sql import SparkSession from pyspark.ml.feature ...
分类：
其他好文 时间：
2020-07-03 19:04:21
阅读次数：
89
作者介绍：EVETNT，狐小E资深开发工程师，专注移动协同办公平台的SAAS软件开发以及轻应用开发 最近开发了一款移动办公软件狐小E 1. Scala集合 Scala提供了一套很好的集合实现，提供了一些集合类型的抽象。 Scala 集合分为可变的和不可变的集合。 可变集合可以在适当的地方被更新或扩展 ...
分类：
其他好文 时间：
2020-07-03 01:11:07
阅读次数：
83
方式一： SavaAsTable 用法： df.write.mode(SaveMode.Overwrite).insertInto(table) 方式二： InsertInto 用法： df.write.mode(SaveMode.Overwrite).saveAsTable(table) 两种方式 ...
分类：
其他好文 时间：
2020-07-03 01:10:09
阅读次数：
152
Spark 源码解读（四）SparkContext的初始化之创建任务调度器TaskScheduler TaskScheduler负责任务任务的提交，并请求集群管理器对任务的调度。创建TaskScheduler的代码如下： val (sched, ts) = SparkContext.createTa ...
分类：
其他好文 时间：
2020-07-03 00:59:56
阅读次数：
63
