在爬虫已启动，就打开一个 chrom 浏览器，以后都用这一个浏览器来爬数据 1 在爬虫中创建 bro 对象 在 middlewares.py 中定义一个 class: spider中的代码： 下载中间件使用 把 selenium 集成到 scrapy 中主要改变的就是这两处地方 以上的在 scrap ...
分类：
其他好文 时间：
2020-04-12 20:51:32
阅读次数：
71
1：在flume/job下配置flume-file-logger.conf配置文件 2：在flume根目录下开启监听（注意，如果当天没有使用hive产生过日志文件的话先操作hive产生当天日志文件） 3：操作hive产生日志文件，查看控制台 ...
分类：
其他好文 时间：
2020-04-12 12:53:11
阅读次数：
150
下面是提供elastic-job-lite和springBoot的整合 1.可以参考的文档信息elastic-job官网：http://elasticjob.io/docs/elastic-job-lite/00-overview/ 2.简单demo代码：git@gitlab.homedo.com: ...
分类：
其他好文 时间：
2020-04-12 12:26:56
阅读次数：
317
介绍 在Jenkins中admin用户的权限最大，可以创建job，可以做任何事情，所以在生产中要做到权限分配，用户只能看见自己修改的job，下面我们要进行权限控制的介绍。 安装rbac插件 创建用户： 全局安全配置修改： 权限分配配置 注：在设置时，用户需要有全部的读权限 查看class用户： ...
分类：
其他好文 时间：
2020-04-10 01:00:40
阅读次数：
86
前言 Jenkins的Master-Slave分布式架构主要是为了解决Jenkins单点构建任务多、负载较高、性能不足的场景。Master-Slave相当于Server和Agent的概念。Master提供web接口让用户来管理job和Slave，job可以运行在Master本机或者被分配到Slave ...
分类：
其他好文 时间：
2020-04-10 00:57:17
阅读次数：
89
--查询10号部门的所有经理,20部门的所有销售员. SELECT * FROM emp WHERE (deptno = 10 AND job = '经理') OR (deptno = 20 AND job = '销售员') --既不是经理也不是销售员 job NOT IN ('经理', '销售员' ...
分类：
数据库 时间：
2020-04-09 16:40:47
阅读次数：
120
Jenkins安装钉钉通知插件 插件下载地址：https://mirrors.tuna.tsinghua.edu.cn/jenkins/plugins/dingding-notifications/ 注：这里使用的是最新的插件 在job中配置钉钉通知 注：这里需要在钉钉上面创建一个团队 钉钉添加机器 ...
分类：
其他好文 时间：
2020-04-09 00:36:09
阅读次数：
176
Jenkins job的自动部署脚本 需求： 1.从Jenkins的workspace中，将编译好的Java代码部署到D:\zzinfo\UserCenterCoordinator中 2.部署过程中，需要停止相关联的其他进程，如5558_CENTER64.exe | 5559_CENTER64_Us ...
分类：
其他好文 时间：
2020-04-08 10:05:48
阅读次数：
79
前言 今天在使用Oracle查询“不等于”的时候，发现得到的数据与期望中的不一样，进一步查找资料才有发现。 1、Oracle的不等于 在Oracle中，"<>"、"!="、"^="都是表示“不等于”，都可以拿来使用。 但是，在我使用的时候，却发现得不到我想要的数据，如下： --查询 IS_JOB_C ...
分类：
数据库 时间：
2020-04-07 20:33:36
阅读次数：
387
1. 查询个job_id的员工 工资的最大值，最小值，平均值, 总和，并按job_id升序 select max(salary),min(salary),avg(salary),sum(salary),job_id from employees group by job_id order by jo ...
分类：
其他好文 时间：
2020-04-07 18:29:27
阅读次数：
103
