发现spark集群重启突然异常无法正常提供服务，两个master都没有人正常起来提供服务,不是防火墙规则导致的，不是因为更改端口导致的1.异常情况：spark-master报错：20/07/1616:52:35WARNClientCnxn:Session0x57355eb34540d0cforserverhadoop5/"ip":7072,unexpectederror,clo
分类：
数据库 时间：
2020-07-17 01:17:59
阅读次数：
135
1.什么是Faker 在编写程序过程中，我们常常需要用到很多数据来进行测试。如果要是手动制造数据的话，肯定要花费大把精力，这不合理。此时我们应该使用Faker这个Python库，用它来生成各种各样的伪数据。 Faker是一个Python包，开源的GITHUB项目，主要用来创建伪数据，使用Faker包 ...
分类：
编程语言 时间：
2020-07-17 01:14:43
阅读次数：
238
一、在生产环境中，我们k8s集群需要多master实现高可用，所以下面介绍如何通过kubeadm部署k8s高可用集群（建议生产环境master至少3个以上） 二、master部署： 1、三台maser节点上部署etcd集群 2、使用VIP进行kubeadm初始化master 注意：本次是通过物理服务 ...
分类：
其他好文 时间：
2020-07-16 21:02:50
阅读次数：
46
代码 https://github.com/smallinsect/MyGo/tree/master/myjson MyUsers.json文件内容 { "name": "小昆虫", "age": 2233, "account_id": "2222222aaaaa", "password": "** ...
分类：
Web程序 时间：
2020-07-15 22:56:01
阅读次数：
155
Task:知道commit号，如何checkout 指定版本 1. 切换到master: git checkout master 2. 下载最新代码: git pull 3. 下载head： git checkout HEAD 4. 查看log找到需要的版本: git log 5. 根据header ...
分类：
其他好文 时间：
2020-07-15 22:44:08
阅读次数：
88
一.首先在slave机上下载git: yum instal git 二、在git hub或者git lab上注册账号，建立自己的git 仓库： 在slave机上使用：git clone xxxx 下载到自己的系统下： 在该文件下新建：一个isaacTest分支，在分支中加入要运行的脚本，提交分支； ...
分类：
其他好文 时间：
2020-07-15 15:31:24
阅读次数：
83
1- Kubernetes对软件和硬件的系统要求 软硬件 最低配置 推荐配置 CPU|内存 Master: 2cores|4GNode：4cores|16G master: 4cores|16GNode: 根据需要运行的容器数量进行配置 Linux系统 CentOS,redhat,ubuntu,Fe ...
分类：
Web程序 时间：
2020-07-15 15:22:17
阅读次数：
90
在gitee上创建新仓库，复制仓库地址 在本地项目文件夹中，打开git bash命令行 git init提交代码 git add .git commit -m 'first commit'添加远程仓库 git remote add origin 远程地址代码推到远程 git push origin ...
分类：
其他好文 时间：
2020-07-15 12:46:04
阅读次数：
111
1、Master 最好不要写内存快照，如果 Master 写内存快照，save 命令调度 rdbSave 函数，会阻塞主线程的工作，当快照比较大时对性能影响是非常大的，会间断性 暂停服务 2、如果数据比较重要，某个 Slave 开启 AOF 备份数据，策略设置为每秒同步一 3、为了主从复制的速度和连 ...
分类：
其他好文 时间：
2020-07-14 21:53:09
阅读次数：
87
一、Jenkis分布式执行结构： 二、分布式环境准备： 1、准备一台master机：Jenkins服务器即可 2、准备一至多台的slave机：具有jak即可 三、设置配置： 1、登录master主机（Jenkins服务器）2、找到构建执行状态 点击进入2、找到名称为：master的标签，点击设置，进 ...
分类：
其他好文 时间：
2020-07-14 20:01:15
阅读次数：
64
