代理服务器英文全称是Proxy Server，其功能就是代理网络用户去取得网络信息。形象的说：它是网络信息的中转站。 代理服务器是介于浏览器和Web服务器之间的一台服务器，有了它之后，浏览器不是直接到Web服务器去取回网页而是向代理服务器发出请求，Request信号会先送到代理服务器，由代理服务器来 ...
分类：
Web程序 时间：
2018-10-09 12:16:56
阅读次数：
245
ip代理池： 1，在各大网站爬去免费代理ip 2，检查ip可用 可用存入数据库1 3，在数据库1中拿出少量代理ip存入数据库2（方便维护） 3，定时检查数据库1和数据库2的代理数量，以及是否可用 4，调用端口 ...
分类：
编程语言 时间：
2018-09-07 20:15:23
阅读次数：
185
代理的基本原理和作用 1.基本原理 代理实际上指的是代理服务器(proxy server)。它的功能是代理网络用户去取得网络信息。形象地说，它是网络信息的中转站。在我们正常请求一个网站时，是发送了请求给web服务器，web服务器把响应传回给我们。如果设置了代理服务器，实际上就是在本机和服务器之间搭建 ...
分类：
其他好文 时间：
2018-07-07 10:35:42
阅读次数：
173
昨天写了一篇关于“c#批量抓取免费代理并验证有效性”的文章，接着昨天的目标继续完成吧，最终实现的目的就是刷新csdn文章的浏览量（实际上很简单，之前博客园的文章也是可以使用代理ip来刷的，后来不行了），刷文章的浏览量本身是可耻的，没有任何意义，当然技术无罪 ...
requests+bs4+lxml直接获取并解析html数据抓包ajax请求，使用requests获取并解析json数据反爬严重的网站，使用selenium爬取设置代理????a.urllib/requests/selenium+chrome/selenium+phantomjs设置代理????b.爬取免费代理网站中的
分类：
编程语言 时间：
2018-07-06 18:31:31
阅读次数：
230
当然代理IP来源肯定是免费，所以嘛效率一般，从一些免费的代理ip的网页抓取的代理IP并不一定都是有用的，所以需要我们对我们抓取的代理ip进行验证，代理ip的有效时间也是有限，从10几秒到1个小时不限，大多数时间非常短。1.从哪些网页上可以抓取免费的代理IP？2.代理IP稳定吗？有什么作用？3.pin... ...
一直在想ip代理池是如何搭建的，今天无意看到一个开源项目，从中找到答案，但是还是不知道那些代理站的ip是从哪获取到的引用：https://github.com/jhao104/proxy_pool ## 代理池介绍 本项目通过爬虫方式持续抓取代理网站公布的免费代理IP，实时校验，维护部分可以使用的代 ...
分类：
其他好文 时间：
2018-06-09 13:11:10
阅读次数：
146
爬取网上公开免费代理(http/socks)，解析入库，可满足需要切换IP的场景(爬虫、投票等)需求。 项目地址: https://github.com/Jwnie/proxyservice 1、采用SpringBoot快速开发，mysql存储，httpclient 4.x 、selenium+ch ...
分类：
Web程序 时间：
2018-01-04 16:28:10
阅读次数：
232
# -*- coding=utf8 -*- import urllib2 import re import time import random import socket import threading from user_agents import agents import sys relo... ...
分类：
其他好文 时间：
2017-12-04 11:36:08
阅读次数：
197
下面我们来梳理一下这些库的代理的设置方法。 1.获取代理 在做测试之前，我们需要先获取一个可用代理，搜索引擎搜索“代理”关键字，就可以看到有许多代理服务网站，在网站上会有很多免费代理，比如西刺：http://www.xicidaili.com/，这里列出了很多免费代理，但是这些免费代理大多数情况下都 ...
分类：
其他好文 时间：
2017-11-10 12:54:23
阅读次数：
231
