码迷,mamicode.com
首页 >  
搜索关键字:spark executor worker    ( 10463个结果
nginx杂记
nginx请求处理流程nginx进程结构reload流程热升级流程worker进程优雅的关闭网络传输TCP流与报文TCP协议与非阻塞接口
分类:其他好文   时间:2020-11-30 15:53:46    阅读次数:4
Spark开发_Spark的UDF开发
###Spark中的UDF Spark1.6只能创建临时UDF,不支持创建持久化的UDF。 从Spark-2.0开始,SparkSQL支持持久化的UDF,目前看来是支持UDAF ###Spark中的UDF 过程 (1)自定义UDF类,实现UDF1/2/3....22中的接口之一,其中UDF后跟的数字 ...
分类:其他好文   时间:2020-11-26 15:06:55    阅读次数:6
nginx配置文件详解
参考帮助文档! 1)全局配置 1、user Syntax: user user [group]; Default: user nobody nobody; Context: main 指定worker进程的运行身份,如组不指定,默认和用户名同名; 2、pid /PATH/TO/PID_FILE 指定 ...
分类:其他好文   时间:2020-11-26 14:47:35    阅读次数:8
关掉 TensorFlow 的调试信息
TensorFlow 每次运行的时候都会弹出类似下面的调度信息 I tensorflow/stream_executor/dso_loader.cc:105] successfully opened CUDA library libcublas.so locally I tensorflow/str ...
分类:其他好文   时间:2020-11-26 14:32:40    阅读次数:6
K8S是什么?为什么会出现这个技术?
Kubernetes能做什么? 简单来说,Kubernetes是和Mesos Marathon类似的容器编排框架,它也是一个自动化、容器化的应用程序部署扩展和管理的开放源代码系统。Kubernetes通过Master节点进行容器的统一编排决策和管理(类似人体的大脑),通过Worker节点(或者直接叫 ...
分类:其他好文   时间:2020-11-26 14:20:24    阅读次数:3
k8s部署
https://www.cnblogs.com/wwjj4811/p/13703804.html 三台centos7虚拟机,一台master,两台worker,集群中所有机器之间网络互通,可以访问外网,需要拉取镜像。 master ip:192.168.162.133 node1 ip:192.16 ...
分类:其他好文   时间:2020-11-25 12:31:20    阅读次数:5
重要 | Spark分区并行度决定机制
最近经常有小伙伴留言,核心问题都比较类似,就是虽然接触Spark有一段时间了,但是搞不明白一个问题,为什么我从HDFS上加载不同的文件时,打印的分区数不一样,并且好像spark.default.parallelism这个参数时不是一直起作用?其实笔者之前的文章已有相关介绍,想知道为什么,就必须了解S... ...
分类:其他好文   时间:2020-11-23 12:25:04    阅读次数:5
R数据框的行列数
# abc的类型为tbl_spark class(abc) #"tbl_spark" #列名 colnames(abc) #行数 abc %>% count() # 把abc转为data frame a <- data.frame(abc) class(a) #"data.frame" #行列数 d ...
分类:其他好文   时间:2020-11-21 12:35:33    阅读次数:5
Vue中的 registerServiceWorker相关
首先说明,registerServiceWorker可以运用于主流框架,它只是为了简化缓存机制产生的js包,以下的例子是在Vue中使用这个文件可以视情况用或者不用,它是用来做离线缓存等任务的,实际上就是为Vue项目注册了一个service worker。这样的话,如果在线上,只要访问过一次该网站,以 ...
分类:其他好文   时间:2020-11-21 12:25:11    阅读次数:6
深入探讨HBASE
HBase是一个高可靠、高性能、面向列的,主要用于海量结构化和半结构化数据存储的分布式key-value存储系统。它基于Google Bigtable开源实现,但二者有明显的区别:Google Bigtable基于GFS存储,通过MAPREDUCE处理存储的数据,通过chubby处理协同服务;而HB... ...
分类:其他好文   时间:2020-11-20 12:05:39    阅读次数:11
10463条   上一页 1 ... 21 22 23 24 25 ... 1047 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!