目的：运行Atlas并使用Azkaban执行操作任务 环境：Centos 6 内存大小：12G 启动下面的任务后还剩内存将近5G 问题： 当mysql_to_hdfs_db和其他job同时运行时集群很容易就会报错 Cannot create GC thread. Out of system reso ...
分类：
其他好文 时间：
2020-04-16 22:28:47
阅读次数：
86
privatestaticStringJOB_NAME="_JOB_NAME";privatestaticStringJOB_GROUP_NAME="EXTJWEB_JOBGROUP_NAME";privatestaticStringTRIGGER_NAME="_TRIGGER"+"_NAME";privatestat
分类：
其他好文 时间：
2020-04-16 16:48:47
阅读次数：
94
Quartz的使用 Quartz是OpenSymphony开源组织在Job scheduling领域又一个开源项目，它可以与J2EE与J2SE应用程序相结合也可以单独使用。Quartz可以用来创建简单或为运行十个，百个，甚至是好几万个Jobs这样复杂的程序。Jobs可以做成标准的Java组件或 EJ ...
分类：
其他好文 时间：
2020-04-15 00:13:56
阅读次数：
71
今天在centOS 7下更改完静态ip后发现network服务重启不了，翻遍了网络，尝试了各种方法，终于解决了。 现把各种解决方法归纳整理，希望能让后面的同学少走点歪路。。。 首先看问题：执行service network restart命令后出现下面的错误： Restarting network ...
分类：
Web程序 时间：
2020-04-14 22:48:00
阅读次数：
134
分布式任务调度平台XXL-JOB，作者许雪里1、源码下载地址①、GitHub：https://github.com/xuxueli/xxl-job②、码云：https://gitee.com/xuxueli0323/xxl-job 2、文档地址①、中文文档：http://www.xuxueli.co ...
分类：
其他好文 时间：
2020-04-14 16:54:20
阅读次数：
73
Problem : The Hamming distance between two integers is the number of positions at which the corresponding bits are different. Now your job is to find ...
分类：
其他好文 时间：
2020-04-13 12:22:42
阅读次数：
64
在爬虫已启动，就打开一个 chrom 浏览器，以后都用这一个浏览器来爬数据 1 在爬虫中创建 bro 对象 在 middlewares.py 中定义一个 class: spider中的代码： 下载中间件使用 把 selenium 集成到 scrapy 中主要改变的就是这两处地方 以上的在 scrap ...
分类：
其他好文 时间：
2020-04-12 20:51:32
阅读次数：
71
1：在flume/job下配置flume-file-logger.conf配置文件 2：在flume根目录下开启监听（注意，如果当天没有使用hive产生过日志文件的话先操作hive产生当天日志文件） 3：操作hive产生日志文件，查看控制台 ...
分类：
其他好文 时间：
2020-04-12 12:53:11
阅读次数：
150
下面是提供elastic-job-lite和springBoot的整合 1.可以参考的文档信息elastic-job官网：http://elasticjob.io/docs/elastic-job-lite/00-overview/ 2.简单demo代码：git@gitlab.homedo.com: ...
分类：
其他好文 时间：
2020-04-12 12:26:56
阅读次数：
317
介绍 在Jenkins中admin用户的权限最大，可以创建job，可以做任何事情，所以在生产中要做到权限分配，用户只能看见自己修改的job，下面我们要进行权限控制的介绍。 安装rbac插件 创建用户： 全局安全配置修改： 权限分配配置 注：在设置时，用户需要有全部的读权限 查看class用户： ...
分类：
其他好文 时间：
2020-04-10 01:00:40
阅读次数：
86
