每个task处理一个partition，一个文件的大小/128M就是task的数量 Task的最大并发数 当task被提交到executor之后，会根据executor可用的cpu核数，决定一个executor中最多同时运行多少个task。 默认情况下一个task对应cpu的一个核。如果一个exec ...
分类：
其他好文 时间：
2021-02-02 11:14:58
阅读次数：
0
1.安装环境 命令行参考 https://docs.microsoft.com/zh-cn/dotnet/core/install/linux-centos 用的是3.1版本 2.NetCore项目的发布 3.通过管理工具把发布得文件传到虚拟机上（我用的FTP工具FileZilla） 4.打开Fin ...
分类：
Web程序 时间：
2021-01-29 11:48:27
阅读次数：
0
一、range（）函数 用于直接生成一个整数序列 创建range对象的三种方式： （1）range（stop） 创建一个（0，stop）之间的整数序列，步长为1 （2）range（start，stop） 创建一个（start，stop）之间的整数序列，步长为1 （3）range（start，stop ...
分类：
其他好文 时间：
2021-01-28 12:10:19
阅读次数：
0
yml spring: data: elasticsearch: client: reactive: endpoints: 192.168.209.160:9200 connection-timeout: 10000#链接到es的超时时间，毫秒为单位，默认10秒（10000毫秒） socket-ti ...
分类：
编程语言 时间：
2021-01-28 12:03:55
阅读次数：
0
Q：第一次提交wordcount案例，OK，一切正常。再次提交，出现下述错误。完整错误粘贴如下： 21/01/27 14:55:48 INFO spark.SecurityManager: Changing modify acls groups to: 21/01/27 14:55:48 INFO ...
分类：
编程语言 时间：
2021-01-28 11:56:52
阅读次数：
0
spark 从数据库中读取数据的几种方式，以Mysql 为例 创建spark val spark = SparkSession.builer().appName("用户标签").master("local[*]").getOrCreate() val url = "jdbc:mysql://数据库地 ...
分类：
数据库 时间：
2021-01-27 13:56:39
阅读次数：
0
引言 RDD 根据数据处理方式的不同将算子整体上分为 Value 类型、双 Value 类型和 Key-Value类型，本文主要讲一些Value 类型 正文 资源路径和资源内容 map ###函数签名:def map[U: ClassTag](f: T ? U): RDD[U] ###函数说明:将处 ...
分类：
其他好文 时间：
2021-01-27 12:50:51
阅读次数：
0
C++使用类成员函数作为线程启动函数 1、使用非静态成员函数作为线程启动函数 示例： #include<thread> #include<iostream> #include "Server.h" #include<Windows.h> #include<chrono> using namespac ...
分类：
编程语言 时间：
2021-01-26 12:27:29
阅读次数：
0
一、Python环境准备 远程服务器上Python版本要与本地想匹配，这里本地使用Anaconda来进行安装，远程服务器之间安装。 wget --no-check-certificate https://www.python.org/ftp/python/3.6.7/Python-3.6.7.tgz ...
分类：
编程语言 时间：
2021-01-25 11:30:39
阅读次数：
0
1 RDD基础知识 1.1 Spark的RDD五大特性 1.1.1 A list of partitions RDD是一个由多个partition（某个节点里的某一片连续的数据）组成的的List；将数据加载为RDD时，一般一个hdfs里的block会加载为一个partition。 对于RDD来说，每 ...
分类：
其他好文 时间：
2021-01-25 11:30:09
阅读次数：
0
