码迷,mamicode.com
首页 >  
搜索关键字:spark executor worker    ( 10463个结果
nginx 优化部分配置的说明
nginx优化部分完整配置文件 [root@nginx ~]# cat nginx.conf user www; # nginx启动用户 worker_processes auto; # 工作进程数 根据cup核心数自动设置数量 worker_cpu_affinity auto; # 工作进程 自动 ...
分类:其他好文   时间:2020-09-17 22:09:01    阅读次数:28
Spark的Shuffle和MR的Shuffle异同
介绍 不论MapReduce还是RDD,shuffle都是非常重要的一环,也是影响整个程序执行效率的主要环节,但是在这两个编程模型里面shuffle却有很大的异同。 shuffle的目的是对数据进行混洗,将各个节点的同一类数据汇集到某一个节点进行计算,为了就是分布式计算的可扩展性。 可能大家多MR的 ...
分类:其他好文   时间:2020-09-17 19:31:45    阅读次数:30
Linux内核实现透视---工作队列
作为Linux中断低半部的另一种实现机制的基础,工作队列的出现更多的是为了解决软中断和Tasklet对于用户进程的时间片的不良影响问题的。工作队列本身是可以使用内核线程来替代的,但是使用线程来实现复杂程度和内存资源的消耗是不利因素,所以Linux内核就实现了这一机制。通过内核线程(worker)作为 ...
分类:系统相关   时间:2020-09-17 19:03:34    阅读次数:33
Spark ML之高级数据源
一.图像数据源 图像数据源用于从目录加载图像文件,它可以通过ImageIO Java库将压缩图像(jpeg,png等)加载为原始图像表示形式。加载的DataFrame具有一StructType列:“ image”,其中包含存储为图像架构的图像数据。该image列的架构为: origin :(Stri ...
分类:其他好文   时间:2020-09-17 17:38:02    阅读次数:52
Pytorch和Tensorflow2.0实现mnist_fashion分类
Pytorch: import torchfrom torch import nnfrom torch.nn import initimport numpy as npimport sysfrom collections import OrderedDictdef load_data_fashion ...
分类:其他好文   时间:2020-09-17 16:24:38    阅读次数:33
线程池处理异步任务队列
线程池处理异步任务队列 /// <author>cxg 2020-9-3</author> /// 支持d7以上版本,更低版本没有测试,支持跨OS unit tasks; interface uses {$IFDEF mswindows} Windows, {$ENDIF} {$IFDEF posi ...
分类:编程语言   时间:2020-09-16 12:43:31    阅读次数:71
Spring Cloud Flow与Apache Spark集成
SpringCloudFlow与ApacheSpark集成点击左上角,关注:“锅外的大佬”专注分享国外最新技术内容帮助每位开发者更优秀地成长1.简介SpringCloudDataFlow是用于构建数据集成和实时数据处理管道的工具包。在这种情况下,管道(Pipelines)是使用SpringCloudStream或SpringCloudTask框架构建的SpringBoot应用程序。在本教程中,我们
分类:编程语言   时间:2020-09-07 19:17:49    阅读次数:55
高手怎么查找CPU过高的Java代码。具体到行
1.首先写一个测试用例; public class Main { public static void main(String[] args) { System.out.println("Hello World!"); Thread thread = new Thread(new Worker()) ...
分类:编程语言   时间:2020-09-07 18:47:25    阅读次数:40
JDK源码分析-ScheduledExecutorService
概述接口的继承结构如下:下面分析这几个接口的定义。Executor从名字来看,Executor可译为“执行器”,它的作用就是执行任务。该接口只有一个execute方法:publicinterfaceExecutor{//执行给定的任务(Runnable)voidexecute(Runnablecommand);}该方法的作用就是(在将来的某个时间)执行给定的命令,即实现了Runnable接口的对象
分类:其他好文   时间:2020-08-31 13:20:18    阅读次数:48
spark源码分析, 任务提交及序列化
org.apache.spark.scheduler.DAGScheduler#submitMissingTasks => org.apache.spark.scheduler.TaskSchedulerImpl#submitTasks // First figure out the indexes ...
分类:其他好文   时间:2020-08-28 14:42:00    阅读次数:47
10463条   上一页 1 ... 26 27 28 29 30 ... 1047 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!