方法一： 直接在spider文件下设置代理，通过传参的方式设置在Request中 方法二： 利用中间件middlewares.py+settings配置 middlewares.py settings.py ...
分类：
其他好文 时间：
2019-04-29 18:55:07
阅读次数：
113
1.设置代理 set http_proxy=http://192.168.1.1:8080 set http_proxy=http://proxy.domain.com:port set https_proxy=https://192.168.1.1:8080 如果有用户名和密码 set http_ ...
分类：
Windows程序 时间：
2019-04-23 15:37:36
阅读次数：
1657
对于github初学者，刚配置的环境可能会遇到各种坑，比如如果本地电脑使用的是公司网络，那有可能按照正常操作：去github上clone一个project的时候，就会提示C:\myproject\vue01>gitclonehttps://github.com/hemiahwu/vue-basic.gitCloninginto‘vue-basic‘...fatal:unabletoacces
分类：
其他好文 时间：
2019-04-19 12:09:37
阅读次数：
183
设置代理npm config set proxy=http://127.0.0.1:8087npm config set registry=http://registry.npmjs.org关于https经过上面设置使用了http开头的源，因此不需要设https_proxy了，否则还要增加一句: n ...
分类：
其他好文 时间：
2019-04-17 15:08:58
阅读次数：
132
我们在制作爬虫爬取想要的资料时，由于是计算机自动抓取，强度大、速度快，通常会给网站服务器带来巨大压力，所以同一个IP反复爬取同一个网页，就很可能被封，在这里介绍相关的技巧，以免被封；但在制作爬虫时，还是要适当加入延时代码，以减少对目标网站的影响。 一、requests设置代理: import req ...
分类：
其他好文 时间：
2019-04-15 16:35:13
阅读次数：
1034
fiddler代理上网 1 下载安装：http://www.telerik.com/fiddl er 2 设置代理，如下图 3 代理服务器信息 代理服务器的IP ： 10.1.44.11 代理服务器的port ： 5678 只要在其他服务器的网络设置把代理设置为以上的配置就行了，或者在其他服务器上的 ...
分类：
Windows程序 时间：
2019-04-12 11:54:04
阅读次数：
1136
前提条件：vue-cli 项目 安装： 在main.js导入： 封装好的axios,拿走不送：（最好是在main.js同级目录创建一个 https.js 文件，复制粘贴下面代码，改 接口地址 就可以用） 开发环境一般要跨域，解决跨域问题（设置代理）：vue-cli 3.0的在 package.jso ...
分类：
移动开发 时间：
2019-03-19 12:31:03
阅读次数：
199
GitHub代码练习地址：https://github.com/Neo-ML/PythonPractice/blob/master/SpiderPrac09_ProxyHandler.pyProxyHandler处理（代理服务器） 使用代理IP，是爬虫的常用手段提供代理服务器的地址有很多，例如： w ...
分类：
编程语言 时间：
2019-03-15 09:19:07
阅读次数：
228
(1) 如果我们一直用同一个IP去请求同一个网站上的网页，久了之后可能会被该网站服务器屏蔽，因此我们可以使用代理IP来发起请求，代理实际上指的就是代理服务器(2) 当我们使用代理IP发起请求时，服务器端显示的是代理IP的地址，即使被屏蔽了，我们可以换一个代理IP继续爬取，代理IP获取页面：https ...
分类：
Web程序 时间：
2019-03-14 16:47:16
阅读次数：
243
1. BurpSuite抓包1.1 设置代理burpsuite代理设置浏览器代理设置（chrome）,其他浏览器同理。地址栏输入 chrome://settings/，打开代理设置设置代理端口如果使用了代理插件，比如switchomega，可以这么设置这样当选择使用代理选项的时候，请求包的数据也会被... ...
分类：
Web程序 时间：
2019-03-09 20:29:02
阅读次数：
731
