Python学习网络爬虫主要分3个大的版块：抓取，分析，存储 另外，比较常用的爬虫框架Scrapy，这里最后也详细介绍一下。 简单来说这段过程发生了以下四个步骤： 查找域名对应的IP地址。 向IP对应的服务器发送请求。 服务器响应请求，发回网页内容。 浏览器解析网页内容。 网络爬虫要做的，简单来说， ...
分类：
其他好文 时间：
2017-10-28 19:04:09
阅读次数：
195
利用国庆8天假期，从头开始学爬虫，现在分享一下自己项目过程。 技术思路： 1，使用scrapy爬去证监会反馈意见 分析网址特点，并利用scrapy shell测试选择器 加载代理服务器：IP池 模拟浏览器：user-agent 编写pipeitem，将数据写入数据库中 2，安装并配置mysql 安装 ...
分类：
其他好文 时间：
2017-10-09 16:49:05
阅读次数：
181
在前面的小节中，我们没有特别配置，calico会为自动为网络分配subnet，当然我们也可以定制。首先定义一个IPPool，比如：cat<<EOF|calicoctlcreate-f--apiVersion:v1kind:ipPoolmetadata:cidr:17.2.0.0/16EOF用此IPPool创建calico网络。dockernetworkcreate--drivercalico..
分类：
其他好文 时间：
2017-09-22 10:15:18
阅读次数：
145
Calico 会为自动为网络分配 subnet，当然我们也可以定制。 ...
分类：
其他好文 时间：
2017-09-22 10:11:22
阅读次数：
176
一、先在MySQL中创建test数据库，和相应的site数据表 二、创建Scrapy工程 三、进入工程目录，根据爬虫模板生成爬虫文件 四、设置IP池或用户代理（middlewares.py文件） 五、settngs.py配置 六、定义爬取关注的数据（items.py文件） 七、爬虫文件编写（test ...
分类：
数据库 时间：
2017-07-06 18:43:00
阅读次数：
397
在vRealize里写代码部署虚机，时间长了，便出现了很多虚机在vCenter里不存在，但在vRealize里还存在的这台虚机的注册信息的现象。最直接的后果是，这些影子虚机会占着IP池里的IP地址不放，导致IP地址资源枯竭，新的Blueprint无法部署的问题。 在Infrastructure->N... ...
分类：
其他好文 时间：
2017-03-15 15:14:29
阅读次数：
249
在上一篇中我们使用Windows2012R2创建了一个Hyper-v虚拟化群集（详见《Windows2012R2创建Hyper-v虚拟化群集》http://jiangjianlong.blog.51cto.com/3735273/1890026），这一篇我们将部署一个SCVMM2012R2来管理Hyper-v群集，主要内容包括：安装SCVMM2012R2、添加Hyper-v群集进行..
分类：
其他好文 时间：
2017-01-14 00:17:51
阅读次数：
308
NTP服务器配置OS:CentOS6.7_x64目前可参看的NTP服务器列表：区域[zone]域名[Domain]IP池[IPPool]中国[China]cn.ntp.org.cn[202.108.6.95][202.112.29.82][110.75.190.198][115.28.122.198][182.92.12.11][120.25.108.11][110.75.186.249][110.75.186.248][110.75.186.247]中国..
分类：
其他好文 时间：
2016-12-04 17:41:10
阅读次数：
279
今天博客开始继续更新，谢谢大家对我的关注和支持。这几天一直是在写一个ip代理池的开源项目。通过前几篇的博客，我们可以了解到突破反爬虫机制的一个重要举措就是代理ip。拥有庞大稳定的ip代理，在爬虫工作中将起到重要的作用,但是从成本的角度来说，一般稳定的ip池都很贵，因此我这个开源项目的意义就诞生了，爬 ...
分类：
编程语言 时间：
2016-07-21 21:42:16
阅读次数：
10062
