概述 上一篇主要是介绍了spark启动的一些脚本，这篇主要分析一下Spark源码中提交任务脚本的处理逻辑，从spark submit一步步深入进去看看任务提交的整体流程,首先看一下整体的流程概要图： 源码解读 spark submit 所以spark submit脚本的整体逻辑就是： 首先 检查SP ...
分类：
其他好文 时间：
2020-01-26 19:14:32
阅读次数：
76
原因是执行完后，没有kill掉对应的 进程，可以 写个关键字来解决 一、python文件 killDriver.py 1 import os 2 3 4 def close_process(process_name): 5 """Close a process by process name.""" ...
分类：
Web程序 时间：
2020-01-26 17:42:30
阅读次数：
98
时间和日期 date cal 磁盘和目录空间 df du 进程信息 ps top kill 01. 时间和日期 序号命令作用 01 date 查看系统时间 02 cal calendar 查看日历，-y 选项可以查看一年的日历 02. 磁盘信息 序号命令作用 01 df -h disk free 显 ...
分类：
系统相关 时间：
2020-01-25 16:47:39
阅读次数：
119
方法1 > SM50 -> flag the process you want to kill -> go to PROCESS --> Cancel WITHOUT core 方法2 -->su – <SID>adm --> dpmon pf=<profilename> -->m -->p/L - ...
分类：
其他好文 时间：
2020-01-24 23:48:08
阅读次数：
150
"Pig Country Kill" 很古怪的翻译，不过它确实叫猪(Pig)国(Country)杀(Kill)。 我们来好好整理一下这道题目。题面虽较长，但内容基本清晰，只是有部分很Pig的操作部分，很容易让第一次看见这道题目的人百思不得其解。 先整理一下这道长长的题面。 First：人物 四位玩家 ...
分类：
其他好文 时间：
2020-01-22 21:33:02
阅读次数：
78
nginx的配置文件： /usr/local/etc/nginx/nginx.conf 启动关闭nginx ## 检查配置文件是否正确 # /usr/local/nginx-1.6/sbin/nginx -t # ./sbin/nginx -V # 可以看到编译选项 ## 启动、关闭 # ./sbi ...
分类：
其他好文 时间：
2020-01-22 14:40:20
阅读次数：
92
问题 查看AndroidSDK的adb版本 查看模拟器adb的版本号 安装路径/bin目录下的 nox_adb.exe 将AndroidSDK的adb复制出来，重命名为nox_adb.exe，覆盖模拟器的nox_adb.exe即可 最后重启模拟器 ...
分类：
数据库 时间：
2020-01-22 13:15:30
阅读次数：
128
碰到需要杀掉某一类进程的时候，如何批量杀掉这些进程，使用awk命令是很好的选择。 代码： ps -ef|grep aaa|grep -v grep|awk '{print "kill -9 " $2}' |sh 1. ps -ef|grep aaa|grep -v grep 这是大家很熟悉的命令，这 ...
分类：
系统相关 时间：
2020-01-20 12:36:14
阅读次数：
94
[toc] 转发https://www.cnblogs.com/clsn/p/8428257.html 一、关于日志切割 日志文件包含了关于系统中发生的事件的有用信息，在排障过程中或者系统性能分析时经常被用到。对于忙碌的服务器，日志文件大小会增长极快，服务器会很快消耗磁盘空间，这成了个问题。除此之外 ...
分类：
系统相关 时间：
2020-01-19 12:41:15
阅读次数：
106
端口占用问题 如果在启动时报端口占用的错误： 是因为服务器在启动的过程中监听80端口, 而该端口已经被别的进程所占用, 因此服务器启动失败! 解决方式一: 找到shutdown.bat命令, 双击运行, 将服务器按照正常的流程再关闭一次! 解决方式二: 如果是别的程序占用了80端口,导致服务器启动失 ...
分类：
其他好文 时间：
2020-01-18 14:21:07
阅读次数：
102
