1，背诵单词：dive：潜水 wreck：残骸，毁灭 vitamin：维生素 distribution：分配 dismiss：解雇 Soviet：苏维埃 dialect：方言 wrist：手腕 interpreter：解释着 spider：蜘蛛 destination：终点 van：厢式货车 Fah ...
分类：
其他好文 时间：
2020-02-07 00:45:36
阅读次数：
94
分享一些常见的User-Agent，从网上搜集来的，可能不怎么完整。 User-Agent (1)百度 Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) Mozilla/5.0 (c ...
分类：
其他好文 时间：
2020-02-06 23:05:43
阅读次数：
102
1。在middlewares中添加自己的新类： class Mylei(object): def process_request(self,request,spider): referer=request.url if referer: request.headers["referer"] = re ...
分类：
其他好文 时间：
2020-02-06 12:46:24
阅读次数：
524
pgspider 是在pg 源码中直接打的patch，增强了FDW 的功能 执行的特性 多租户 并行处理 数据下推 说明 pgspider 是一个很不错的扩展，目前官方已经支持了sqlite，mysql，influxdb 等数据库 参考资料 https://github.com/pgspider/p ...
分类：
数据库 时间：
2020-02-04 20:33:23
阅读次数：
109
什么是爬虫 网络爬虫，也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。 网络搜索引擎等站点通过爬虫软件更新自身的网站内容或其对其他网站的索引。网络爬虫可以将自己所访问的页面保存下来，以便搜索引擎事后生成索引供用户搜索。 爬虫访问网站的过程会消耗目标系统资 ...
分类：
编程语言 时间：
2020-02-02 15:45:03
阅读次数：
203
extensions.py文件# -*- coding: utf-8 -*- # 该扩展会在以下事件时记录一条日志： # spider被打开 # spider被关闭 # 爬取了特定数量的条目(items) import logging from collections import defaultd ...
分类：
其他好文 时间：
2020-02-01 12:24:49
阅读次数：
98
# -*- coding: utf-8 -*- # Define here the models for your spider middleware # # See documentation in: # https://docs.scrapy.org/en/latest/topics/spide ...
分类：
其他好文 时间：
2020-01-30 21:19:59
阅读次数：
131
十四、企业实战案例 （一）使用for循环在/oldboy目录下批量创建10个html文件，其中文件名包含10个随机小写字母加固定字符串0ldoby。 思路分析，产生随机数字方法： ①核心是创建10个随机小写字母。 echo $RANDOM 范围是0 32767 openssl rand base64 ...
分类：
其他好文 时间：
2020-01-29 01:02:38
阅读次数：
65
import csvimport selenium.webdriverfrom selenium.webdriver.chrome.options import Optionsclass spider(): def get_msg(self,url): global timeNum, provinc ...
分类：
其他好文 时间：
2020-01-28 21:28:10
阅读次数：
116
“人生苦短，我用python”。最近了解到一个很好的Spider框架——Scrapy，自己就按着官方文档装了一下，出了些问题，在这里记录一下，免得忘记。 Scrapy的安装是基于Twisted进行安装的，在Python3.8的环境中，并不像是网上许多教程所说的那样需要安装许多的插件，只需要安装好Tw ...
