Java高级工程师需要弄明白的20个知识点 1、对多线程的了解,尤其是对线程池的理解,对ThreadPoolExecutor构造参数各个作用的理解、了解Fxied Pool、Cached Pool分别的作用 2、对锁的了解,synchronized、Lock接口(及其对应的实现的理解) 3、对JDK ...
分类:
编程语言 时间:
2020-07-20 10:22:43
阅读次数:
69
使用示例: $atomic = new Swoole\Atomic(); $serv = new Swoole\Server('127.0.0.1', '9501'); $serv->set([ 'worker_num' => 1, 'log_file' => '/dev/null' ]); // ...
分类:
系统相关 时间:
2020-07-19 23:48:19
阅读次数:
94
运行spark时提示如下信息: hadoop@MS-YFYCEFQFDMXS:/home/trp$ cd /usr/local/spark hadoop@MS-YFYCEFQFDMXS:/usr/local/spark$ ./bin/pyspark env: ‘python’: No such fi ...
分类:
编程语言 时间:
2020-07-19 23:47:58
阅读次数:
111
广播变量object Main { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName("readMysql").setMaster("local[2]") val sparkConte ...
分类:
其他好文 时间:
2020-07-19 11:44:16
阅读次数:
62
(env) D:\python_learn\meiduo_project\meiduo_mall>celery -A celery_tasks.main worker -l info celery@CZZI-BBMGSW v4.4.6 (cliffs) ***** -- ******* Window ...
分类:
其他好文 时间:
2020-07-19 00:50:02
阅读次数:
73
https://www.cse.unsw.edu.au/~cs9313/20T2/slides/L6.pdf Table recall: 1. rows: entity 2. columns: attributes Spark SQL: 1. Spark SQL is not about sql, ...
分类:
数据库 时间:
2020-07-19 00:39:19
阅读次数:
98
● 系统环境说明 Linux环境:centos7.4 EMR:3.0.0 Java:1.8.0_112 ● 集群配置 机器数量:50 内存:128G 硬盘:100T CPU核心数:32C 问题 SQL中使用了LEFT JOIN,在执行过程中遇到以下报错: java.lang.RuntimeExcep ...
分类:
其他好文 时间:
2020-07-17 01:24:45
阅读次数:
119
发现spark集群重启突然异常无法正常提供服务,两个master都没有人正常起来提供服务,不是防火墙规则导致的,不是因为更改端口导致的1.异常情况:spark-master报错:20/07/1616:52:35WARNClientCnxn:Session0x57355eb34540d0cforserverhadoop5/"ip":7072,unexpectederror,clo
分类:
数据库 时间:
2020-07-17 01:17:59
阅读次数:
135
在实际使用Rancher过程中,偶尔会因为自己的小黑手误删了System Workload、节点或集群, 导致集群状态异常而无法访问。本篇文章来拯救你的小黑手啦,再也不用担心误删集群或节点咯,赶紧点开文章了解吧~
分类:
其他好文 时间:
2020-07-16 10:19:23
阅读次数:
105
什么是Shuffle 在RDD中,将每个相同key的value聚合起来。相同key的value可能在不同partition,也可能在不同节点。因此shuffle操作会影响多个节点。 常见的shuffle操作有:groupByKey(),reduceBykey()等。 Shuffle Write和Re ...
分类:
其他好文 时间:
2020-07-16 10:12:36
阅读次数:
63