一、环境搭建 Scrapy是一个比较好的爬虫框架,本次,我们学习一下,使用Scrapy框架来创建一个爬虫项目,并通过一个简单的例子演示一下。 第一步:安装依赖。首先先保证已经安装了python,pip。然后使用pip进行一下依赖的安装,顺序为: 1、wheel 2、 lxml 3、PyOpenssl ...
分类:
其他好文 时间:
2018-07-03 20:14:56
阅读次数:
243
#!/usr/bin/env python # -*- coding:utf-8 -*- # author:love_cat from twisted.internet import reactor # 事件循环(终止条件,所有的socket都已经移除) from twisted.internet ... ...
分类:
其他好文 时间:
2018-07-03 20:14:21
阅读次数:
695
1.添加pom.xml依赖 2.配置类 3.工具类: https://miaoxinwei.github.io/2017/04/21/spring-%E9%9B%86%E6%88%90-okhttp3/ https://blog.csdn.net/wangh92/article/details/79 ...
分类:
编程语言 时间:
2018-07-03 20:10:01
阅读次数:
472
1.parent pom和common pom 都需要添加 nexus nexus thirdparty repositories http://10.74.11.37:8081/nexus/content/repositories/thirdparty 其中id要与maven的配置文件settin... ...
分类:
编程语言 时间:
2018-07-03 20:04:08
阅读次数:
343
1,所有项目由具体项目负责人负责上线2,项目负责人负准备上线内容,如1,代码tag2,sql3,配置文件4,需要上线的开发人员3,项目负责人负责发送项目上线申请,邮件说明1,上线牵扯的项目2,项目的功能简介3,项目的配置文件4,项目的sql5,上线tag6,上线具体时间(2018年7月3号22点)7,上线依赖(依赖3.6.1版本接口)8,注意实现4,项目负责人负责邮件通知需求方(如:产品、运行、商
分类:
其他好文 时间:
2018-07-03 19:51:38
阅读次数:
150
其实用一句话来概括很简单,就是锁定安装时的包的版本号,并且需要上传到git,以保证其他人在npm install时大家的依赖能保证一致。 引用知乎@周载南的回答 根据官方文档,这个package-lock.json 是在 `npm install`时候生成一份文件,用以记录当前状态下实际安装的各个n ...
分类:
Web程序 时间:
2018-07-03 18:20:27
阅读次数:
199
1.Maven介绍及环境的搭建 (1)maven介绍 maven是基于项目对象模型(POM),可以通过一小段描述信息来管理项目的构建、报告和文档的软件项目管理工具 (2)环境搭建 先到http://maven.apache.org/中点击download,下载maven 解压后出现bin,boot, ...
分类:
其他好文 时间:
2018-07-03 18:10:53
阅读次数:
143
本机安装包路径: D:\share\src\linux-mysql\sqlAdvisor\ 1.克隆代码git clone https://github.com/Meituan-Dianping/SQLAdvisor.git 2.安装依赖yum install -y cmake libaio-dev ...
分类:
数据库 时间:
2018-07-03 18:10:37
阅读次数:
179
1.文件操作 (1)在当前文件同一级目录下面新建一个文件 Ctrl+Alt+Insert 在当前目录下新建(new in this directory),就不用Alt+1跳转过去再new了,注意:直接Alt+Insert是生成构造函数,getter,setter等方法 (2)复制当前文件 F5 出现 ...
分类:
其他好文 时间:
2018-07-03 16:52:30
阅读次数:
109
一、使用yum安装和卸载软件,有个前提是yum安装的软件包都是rpm格式的。安装的命令是,yum install ~,yum会查询数据库,有无这一软件包,如果有,则检查其依赖冲突关系,如果没有依赖冲突,那么最好,下载安装;如果有,则会给出提示,询问是否要同时安装依赖,或删除冲突的包,你可以自己作出判 ...
分类:
其他好文 时间:
2018-07-03 16:46:56
阅读次数:
146