mysql8.0.16 安装和mysql5.7.* 有一定区别, mysql_install_db已经舍弃,初始化 更改为mysql --initialize代替 ,密码校验方式也发生了变化,老jdbc驱动需要注意
分类：
数据库 时间：
2020-07-04 17:21:12
阅读次数：
82
mysql8.0.16 安装和mysql5.7.* 有一定区别, mysql_install_db已经舍弃,初始化 更改为mysql --initialize代替 ,密码校验方式也发生了变化,老jdbc驱动需要注意
分类：
数据库 时间：
2020-07-04 09:18:24
阅读次数：
77
1. 背景描述和需求 数据分析程序部署在Docker中，有一些分析计算需要使用Spark计算，需要把任务提交到Spark集群计算。 接收程序部署在Docker中，主机不在Hadoop集群上。与Spark集群网络互通。 需求如下 1、在Docker中可程序化向Spark集群提交任务 2、在Docker ...
分类：
其他好文 时间：
2020-07-03 19:06:43
阅读次数：
62
项目来源厦门大学林子雨老师得Spark学习项目中，里面为部分项目代码和实验截图 读取文件 from pyspark import SparkConf, SparkContext from pyspark.sql import SparkSession from pyspark.ml.feature ...
分类：
其他好文 时间：
2020-07-03 19:04:21
阅读次数：
89
方式一： SavaAsTable 用法： df.write.mode(SaveMode.Overwrite).insertInto(table) 方式二： InsertInto 用法： df.write.mode(SaveMode.Overwrite).saveAsTable(table) 两种方式 ...
分类：
其他好文 时间：
2020-07-03 01:10:09
阅读次数：
152
Spark 源码解读（四）SparkContext的初始化之创建任务调度器TaskScheduler TaskScheduler负责任务任务的提交，并请求集群管理器对任务的调度。创建TaskScheduler的代码如下： val (sched, ts) = SparkContext.createTa ...
分类：
其他好文 时间：
2020-07-03 00:59:56
阅读次数：
63
Linux shell脚本，按顺序批量启动多个jar包，批量启动spring cloud的jar包 一. 手动一个一个启动的方式： nohup java -jar eurekaserver.jar > ../logs/eurekaserver.log 2>&1 & nohup java -jar c ...
分类：
编程语言 时间：
2020-07-02 16:52:39
阅读次数：
185
SPARK_MASTER_OPTS is not allowed to specify max heap(Xmx) memory settings (was -Xms512m -Xmx1024m -Dcom.sun.management.jmxremote=true -Dcom.sun.manage ...
分类：
其他好文 时间：
2020-07-02 16:40:58
阅读次数：
87
pandas、spark计算相关性系数速度对比 相关性计算有三种算法：pearson、spearman，kenall。 在pandas库中，对一个Dataframe，可以直接计算这三个算法的相关系数correlation，方法为：data.corr() 底层是依赖scipy库的算法。 为了提升计算速 ...
分类：
其他好文 时间：
2020-07-02 16:38:40
阅读次数：
126
