1. 什么是 Azkaban Azkaban 是由 Linkedin 公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的 key:value 对的方式，通过配置中的 Dependencies 来设置依赖关系。Azkaban 使用 job ...
分类：
其他好文 时间：
2020-07-10 09:54:12
阅读次数：
54
环境：centos7.6 1、安装docker 详情见：https://www.cnblogs.com/wukc/p/13265528.html 2、配置时区 timedatectl set-timezone Asia/Shanghai 3、修改主机名称 hostnamectl set-hostna ...
分类：
其他好文 时间：
2020-07-09 15:21:21
阅读次数：
181
Quartz定时任务默认都是并发执行的，不会等待上一次任务执行完毕，只要间隔时间到就会执行, 如果定时任执行太长，会长时间占用资源，导致其它任务堵塞。 在Spring中这时需要设置concurrent的值为false, 禁止并发执行。 <property name="concurrent" valu ...
分类：
其他好文 时间：
2020-07-08 19:43:37
阅读次数：
98
github 一、git是什么？ Git是目前世界上最先进的分布式版本控制系统。 二、Sourcetree 界面如图: 三、如何将本地项目上传到git # 1、先进入项目文件夹，将这个目录变成git可以管理的仓库 git init # 2、命令 git add .添加到暂存区里面去，“.” 意为添加 ...
分类：
其他好文 时间：
2020-07-08 19:31:32
阅读次数：
68
Spark 源码解读（五）SparkContext的初始化之创建和启动DAGScheduler DAGScheduler主要用于在任务正式提交给TaskSchedulerImpl提交之前做一些准备工作，包括：创建job,将DAG中的RDD划分到不同的Stage,提交Stage等等。SparkCont ...
分类：
其他好文 时间：
2020-07-07 23:39:16
阅读次数：
102
oracle中的job能为你做的就是在你规定的时间格式里执行存储过程，定时执行一个任务 。下面是一个小案例，定时每15分钟向一张表插入一条数据 一 1.创建一张测试表 -- Create table create table A8 ( a1 VARCHAR2(500) ) tablespace DS ...
分类：
数据库 时间：
2020-07-07 19:55:48
阅读次数：
92
1、新建自由风格项目2、配置参数化构建，将发布状态Status、是否重启Reboot、发布版本号Version、发布的文件file、发布的项目project、要发布的tomcat名称tomcat_name、发布的路径update_path分别设置为参数3、先执行一次发布，会在/var/lib/jenkins/workspace生成job名的文件夹，我这里是hczd-sys_for_Onlyall4
分类：
其他好文 时间：
2020-07-07 15:51:04
阅读次数：
70
# 这种方法我之前没有接触过 fields = ('name', 'age', 'job', 'pay') record = dict.fromkeys(fields, '?') print(record) ...
分类：
编程语言 时间：
2020-07-07 15:26:07
阅读次数：
71
import pprint bob = {'name': 'Bob Smith', 'age': 42, "pay": 30000, "job": "dev"} sue = {'name': 'Sue Jones', 'age': 45, "pay": 40000, "job": "hdw"} db ...
分类：
其他好文 时间：
2020-07-07 15:21:34
阅读次数：
34
1.分区的作用 RDD 使用分区来分布式并行处理数据, 并且要做到尽量少的在不同的 Executor 之间使用网络交换数据, 所以当使用 RDD 读取数据的时候, 会尽量的在物理上靠近数据源, 比如说在读取 Cassandra 或者 HDFS 中数据的时候, 会尽量的保持 RDD 的分区和数据源的分 ...
分类：
其他好文 时间：
2020-07-07 13:11:09
阅读次数：
164
