#Hadoop 分布式计算平台，同时也是一个生态圈 hadoop 1.X HDFS+MapReducer+Common hadoop 2.X HDFS+MAP+Reducer+Common hadoop 3.X java7->java8，引入纠删码，重写shell脚本，支持超过两个NameNode， ...
分类：
其他好文 时间：
2021-04-27 15:04:12
阅读次数：
0
环境变量（environment variable） 环境变量是在bash shell 的一个特性，用来存储系统信息、临时数据以及配置信息。在bash shell中，环境变量可分为两类：全局变量和局部变量。 全局变量： 作用范围：当前shell进程及其子shell进程 查看全局环境变量： 查看所有全 ...
分类：
系统相关 时间：
2021-04-27 14:34:01
阅读次数：
0
9-1.命令执行介绍1）命令执行漏洞原理命令执行漏洞定义：WEB应用程序接收用户输入，拼接到要执行的系统命令中执行。产生原因：1、用户输入未过滤或净化；2、拼接到系统命令中执行。2）PHP下命令执行函数在PHP中具有执行系统命令功能的函数如下等：1、system2、exec3、shell_exec4 ...
分类：
其他好文 时间：
2021-04-26 13:31:21
阅读次数：
0
#计算Spark StorageMemory Heap内存 tag: Spark, Spark Memory, Spark Storage Memory 2021-04-23 21:26:25 星期五 version: spark-2.4.5 Executor 进程 org.apache.spark ...
分类：
其他好文 时间：
2021-04-24 13:38:45
阅读次数：
0
如何每秒执行任务？ 没有直接的解决方案。因为在Cron中，最小的时间帧是分钟，不能进行每秒钟执行某个任务。 # 方案一：systemd Timer 可以使用systemd Timer，它支持以秒为时间帧来执行任务。 # 方案二：Shell Script 在Cron中，最小的时间帧是分钟。因此可以写一 ...
分类：
其他好文 时间：
2021-04-24 13:38:24
阅读次数：
0
1、改成本地模式 . val conf = new SparkConf().setAppName("ScalaWordCount").setMaster("local") 2、编写入参 传参 ...
分类：
其他好文 时间：
2021-04-24 13:30:06
阅读次数：
0
文章目录python脚本调用shell命令os.system()os.popen()subprocess.call()subprocess.Popen()commandspython脚本传参数给shell命令python脚本获取命令行用户输入参数python传参数给shell命令python传参数给 ...
分类：
编程语言 时间：
2021-04-24 13:19:00
阅读次数：
0
1. 用Pyspark自主实现词频统计过程。 >>> s = txt.lower().split()>>> dd = {}>>> for word in s:... if word not in dd:... dd[word] = 1... else:... dd[word] = dic[word] ...
分类：
其他好文 时间：
2021-04-23 12:19:08
阅读次数：
0
>>> s = txt.lower().split()>>> dd = {}>>> for word in s:... if word not in dd:... dd[word] = 1... else:... dd[word] = dic[word] + 1...>>> ss = sorted( ...
分类：
其他好文 时间：
2021-04-23 12:18:32
阅读次数：
0
1. 用Pyspark自主实现词频统计过程。 >>> s = txt.lower().split()>>> dd = {}>>> for word in s:... if word not in dd:... dd[word] = 1... else:... dd[word] = dic[word] ...
分类：
其他好文 时间：
2021-04-23 12:10:50
阅读次数：
0
