码迷,mamicode.com
首页 >  
搜索关键字:spark executor worker    ( 10463个结果
JAVA高级开发工程师需要掌握内容
Java高级工程师需要弄明白的20个知识点 1、对多线程的了解,尤其是对线程池的理解,对ThreadPoolExecutor构造参数各个作用的理解、了解Fxied Pool、Cached Pool分别的作用 2、对锁的了解,synchronized、Lock接口(及其对应的实现的理解) 3、对JDK ...
分类:编程语言   时间:2020-07-20 10:22:43    阅读次数:69
Swoole 中使用 Atomic 实现进程间无锁计数器
使用示例: $atomic = new Swoole\Atomic(); $serv = new Swoole\Server('127.0.0.1', '9501'); $serv->set([ 'worker_num' => 1, 'log_file' => '/dev/null' ]); // ...
分类:系统相关   时间:2020-07-19 23:48:19    阅读次数:94
运行spark时提示 env: ‘python’: No such file or directory
运行spark时提示如下信息: hadoop@MS-YFYCEFQFDMXS:/home/trp$ cd /usr/local/spark hadoop@MS-YFYCEFQFDMXS:/usr/local/spark$ ./bin/pyspark env: ‘python’: No such fi ...
分类:编程语言   时间:2020-07-19 23:47:58    阅读次数:111
spark 广播变量 累加器
广播变量object Main { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName("readMysql").setMaster("local[2]") val sparkConte ...
分类:其他好文   时间:2020-07-19 11:44:16    阅读次数:62
celery接收到任务后出现错误,ValueError: not enough values to unpack (expected 3, got 0)
(env) D:\python_learn\meiduo_project\meiduo_mall>celery -A celery_tasks.main worker -l info celery@CZZI-BBMGSW v4.4.6 (cliffs) ***** -- ******* Window ...
分类:其他好文   时间:2020-07-19 00:50:02    阅读次数:73
COMP9313 week7b Spark SQL
https://www.cse.unsw.edu.au/~cs9313/20T2/slides/L6.pdf Table recall: 1. rows: entity 2. columns: attributes Spark SQL: 1. Spark SQL is not about sql, ...
分类:数据库   时间:2020-07-19 00:39:19    阅读次数:98
Hve on Spark left join的hashTable问题
● 系统环境说明 Linux环境:centos7.4 EMR:3.0.0 Java:1.8.0_112 ● 集群配置 机器数量:50 内存:128G 硬盘:100T CPU核心数:32C 问题 SQL中使用了LEFT JOIN,在执行过程中遇到以下报错: java.lang.RuntimeExcep ...
分类:其他好文   时间:2020-07-17 01:24:45    阅读次数:119
spark 双master 一直处于standby的异常情况
发现spark集群重启突然异常无法正常提供服务,两个master都没有人正常起来提供服务,不是防火墙规则导致的,不是因为更改端口导致的1.异常情况:spark-master报错:20/07/1616:52:35WARNClientCnxn:Session0x57355eb34540d0cforserverhadoop5/"ip":7072,unexpectederror,clo
分类:数据库   时间:2020-07-17 01:17:59    阅读次数:135
误删节点或集群怎么办?这里有一颗后悔药
在实际使用Rancher过程中,偶尔会因为自己的小黑手误删了System Workload、节点或集群, 导致集群状态异常而无法访问。本篇文章来拯救你的小黑手啦,再也不用担心误删集群或节点咯,赶紧点开文章了解吧~
分类:其他好文   时间:2020-07-16 10:19:23    阅读次数:105
Spark的Shuffle机制
什么是Shuffle 在RDD中,将每个相同key的value聚合起来。相同key的value可能在不同partition,也可能在不同节点。因此shuffle操作会影响多个节点。 常见的shuffle操作有:groupByKey(),reduceBykey()等。 Shuffle Write和Re ...
分类:其他好文   时间:2020-07-16 10:12:36    阅读次数:63
10463条   上一页 1 ... 32 33 34 35 36 ... 1047 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!