requests 库是一个阻塞式HTTP请求库，当我们发出一个请求后，程序会一直等待服务器响应，直到得到响应后，程序才会进行下一步处理。 aiohttp可以提供异步web服务的库，在等待过程中做一些其他事情，如请求的调度、响应的处理 JavaScript 使得用户与信息之间不只是一种浏览与显示的关系 ...
分类：
编程语言 时间：
2018-08-22 01:11:42
阅读次数：
167
使用Chrome or Firefox 进行网页抓取，不足之处，程序运行过程中需要一直开着浏览器。 方法一：目前，最新的Chrome支持无界面模式。 方法二：安装无界面浏览器PhantomJS，此时抓取过程在后台运行，不会有窗口出现。 selenium 是一个自动化测试工具，利用它我们可以驱动浏览器 ...
分类：
编程语言 时间：
2018-08-21 01:09:46
阅读次数：
178
#!/usr/bin/evn python3 import requests import re class crawler(object): #发起请求 def request(self,page): headers = { 'Host': 'www.xiaohuar.com', 'Cookie' ...
分类：
编程语言 时间：
2018-08-10 19:35:07
阅读次数：
494
本篇只简单介绍安装步骤 1. 角色分配 10.11.84.4 web-crawler--1.novalocal master/slave 10.11.84.5 web-crawler--2.novalocal slave 10.11.84.6 web-crawler--3.novalocal sla ...
分类：
其他好文 时间：
2018-08-09 11:01:36
阅读次数：
187
在spiders同级创建任意目录，如：commands 在其中创建 crawlall.py 文件 （此处文件名就是自定义的命令） 在settings.py 中添加配置 COMMANDS_MODULE = '项目名称.目录名称' 在项目目录执行命令：scrapy crawlall ...
分类：
其他好文 时间：
2018-07-22 00:19:03
阅读次数：
152
任何网页的 crawler 工具都可以被用来索引你的 Confluence 站点中的内容。如果你希望注册用户才能够查看的内容也被索引的话，你需要为你的 Confluence 创建一个只被 crawler 使用的用户。将这个用户赋予你需要索引内容的访问权限，但是限制这个用户具有删除和管理员的权限。这个 ...
分类：
其他好文 时间：
2018-07-10 23:35:01
阅读次数：
178
任何网页的 crawler 工具都可以被用来索引你的 Confluence 站点中的内容。如果你希望注册用户才能够查看的内容也被索引的话，你需要为你的 Confluence 创建一个只被 crawler 使用的用户。将这个用户赋予你需要索引内容的访问权限，但是限制这个用户具有删除和管理员的权限。这个限制能够阻止 crawler 用户不能对你的站点进行修改。有关外部应用对你的 Confl
分类：
其他好文 时间：
2018-07-10 22:40:37
阅读次数：
197
搜索引擎和网站都在采集大量信息 非原创即采集 采集信息的程序一般被称为网络爬虫（web crawler） 网络铲 web scraper 类比考古用的洛阳铲 网络蜘蛛web spider 一般爬到 对应网页上 再把需要的信息 铲 下来 言词证据 在不断变化 ...
分类：
编程语言 时间：
2018-07-05 23:29:07
阅读次数：
162
1.spider传参 在运行 crawl 时添加 -a 可以传递Spider参数: Spider在构造器(constructor)中获取参数: 2.class scrapy.spider.Spider 常用方法：name allowed_domains start_urls custom_setti ...
分类：
其他好文 时间：
2018-06-30 14:41:50
阅读次数：
171
一 设计抓取策略 1 深度优先 2 广度优先 3 部分的PageRank策略 4 OPIC策略 5 大站优先策略 https://blog.csdn.net/a575553272/article/details/80265182 二 垂直搜索爬虫 垂直搜索与通用搜索不同之处在于，通用搜索不需要理会网 ...
分类：
其他好文 时间：
2018-06-13 21:03:30
阅读次数：
181
