一、应用场景 我目前运维的软件系统需要定时升级检修更新程序包，更新方法是新增、替换、回退名称类似“xxx.xxxx.xxx.xxxx.xx_1.0.0.v199002050011850-150968.jar”的jar包。其中xxx代表模块名，1.0.0为系统版本号，“v”后面19900205为日期， ...
分类：
系统相关 时间：
2021-01-19 11:56:25
阅读次数：
0
# 先定义dataframe各列的数据类型 from pyspark.sql.types import *schema = StructType([ StructField("a", NullType(), True), StructField("b", AtomicType(), True), S ...
分类：
其他好文 时间：
2021-01-18 11:29:36
阅读次数：
0
1. 设置执行引擎 set hive.execution.engine=mr;set hive.execution.engine=spark; 如果设置执行引擎为MR，那么调用Hadoop的maprecude来运行需要执行的job的程序； 如果设置执行引擎为spark，那么就会调用spark来执行任 ...
分类：
其他好文 时间：
2021-01-15 12:15:21
阅读次数：
0
解决Hadoop HA集群 NameNode 无法自动故障转移（切换active） 在学习 HA 自动化配置，按照hadoop官网:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvaila ...
分类：
其他好文 时间：
2021-01-15 12:13:12
阅读次数：
0
虚拟机克隆 a. vim /etc/udev/rules.d/70-persistent-net.rules 更改网卡名 b. vim /etc/sysconfig/network-scripts/ifcfg-eth0 更新网卡 c. vim /etc/sysconfig/network 更改主机名 ...
分类：
其他好文 时间：
2021-01-12 10:50:26
阅读次数：
0
搭建在单一服务器 基于官方文档 http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation 1、配置：hadoop-env ...
分类：
其他好文 时间：
2021-01-11 11:23:14
阅读次数：
0
概述：Spark 程序开发，调试和运行，intellij idea开发Spark java程序。分两部分，第一部分基于intellij idea开发Spark实例程序并在intellij IDEA中运行Spark程序.第二部分，将开发程序提交到Spark local或者hadoop YARN集群运行 ...
分类：
编程语言 时间：
2021-01-08 10:56:23
阅读次数：
0
方法一： import os import cv2 as cv import numpy as np # 读取yuv420p的一帧文件，并转化为png图片 if __name__ == '__main__': filepath = 'one_frame_of_highway.yuv' binfile ...
分类：
编程语言 时间：
2021-01-07 12:44:52
阅读次数：
0
安全性测试的测试点 1.跨网站脚本攻击 通过脚本语言的缺陷模拟合法用户，控制其账户，盗窃敏感数据 2.注入攻击 通过构造查询对数据库、LDAP和其他系统进行非法查询 3.恶意文件执行 在服务器上执行Shell 命令Execute，获取控制权 4.伪造跨站点请求 发起Blind 请求，模拟合法用户，要 ...
分类：
其他好文 时间：
2021-01-07 12:19:23
阅读次数：
0
一、问题现象： 二、报错原因 因为程序还未编译。所有的程序都是需要先编译，才能运行的。 三、解决方法 先编译，后运行。 使用BuildAndRun按钮 或者ctrl+r 亦或ctrl+F7来编译并运行程序即可。 ...
分类：
系统相关 时间：
2021-01-07 11:51:24
阅读次数：
0
