使用python asyncio实现了一个异步代理池，根据规则爬取代理网站上的免费代理，在验证其有效后存入redis中，定期扩展代理的数量并检验池中代理的有效性，移除失效的代理。同时用aiohttp实现了一个server，其他的程序可以通过访问相应的url来从代理池中获取代理。 源码 Github ...
分类：
编程语言 时间：
2018-10-22 16:41:27
阅读次数：
198
黑客专用多功能记事本功能非常强大，适合各大黑阔做教程时使用。 软件功能：集成了记事本所有功能，此记事本不是一般的普通记事本，他可以添加图片，添加网站后可以双击打开等功能。入侵常用命令，在线翻译，辅助功能有MD5解密，常用网站查询等。社工辅助，IP代理网站，一句话木马等。通用工具有电脑上的控制面板所有 ...
分类：
其他好文 时间：
2018-08-25 00:41:17
阅读次数：
377
requests+bs4+lxml直接获取并解析html数据抓包ajax请求，使用requests获取并解析json数据反爬严重的网站，使用selenium爬取设置代理????a.urllib/requests/selenium+chrome/selenium+phantomjs设置代理????b.爬取免费代理网站中的
分类：
编程语言 时间：
2018-07-06 18:31:31
阅读次数：
230
吾亦无他,唯手熟尔，谦卑若愚，好学若饥 本篇博客讲述几种跨域发HTTP请求的几种方法，POST请求,GET请求 目录： 一，采用JsonP的方式（只能是GET） 二，采用CROS的方式（需要在接收的一端也有配置） 三，采用form表单的方式（有些时候会存在问题，一会详细说明） 四，采用代理网站帮忙转 ...
分类：
Web程序 时间：
2018-07-04 10:40:27
阅读次数：
256
squid http://www.squid-cache.org/ squid软件主要有两大应用: 1,代理上网(正向代理，透明代理） 2,网站静态页面缓存加速（反向代理) 三种代理类型 正向代理 代理内部主机上网,共享上网，缓存，控制内网用户上网行为等功能（客户端需要设置代理服务器的IP和代理端口 ...
分类：
其他好文 时间：
2018-06-19 22:51:17
阅读次数：
226
一直在想ip代理池是如何搭建的，今天无意看到一个开源项目，从中找到答案，但是还是不知道那些代理站的ip是从哪获取到的引用：https://github.com/jhao104/proxy_pool ## 代理池介绍 本项目通过爬虫方式持续抓取代理网站公布的免费代理IP，实时校验，维护部分可以使用的代 ...
分类：
其他好文 时间：
2018-06-09 13:11:10
阅读次数：
146
定义：为其他对象提供一种代理以控制对这个对象的访问。代理对象起到中介作用，可去掉功能服务或增加额外的服务（火车票代售处）。 远程代理（客户端服务器模式） 虚拟代理（网站图片延迟加载） 保护代理（控制用户的访问权限） 智能引用代理（火车票代售处） 静态代理 定义：代理和被代理对象在代理之前是确定的，它 ...
分类：
其他好文 时间：
2018-03-21 15:04:48
阅读次数：
162
最近在研究爬虫，需要在前面部署IP代理池，于是在开源中国找到proxypool。可以自动抓取国内几个免费IP代理网站的IP，并实时校验IP的可用性，数据库为SSDB。IP代理池网站：http://www.data5u.com/http://www.data5u.com/free/http://www.data5u.com/free/gngn/index.shtmlhttp://www.data5u
分类：
编程语言 时间：
2018-01-15 18:45:03
阅读次数：
215
squid安装及运行指南 0. What is squid Squid是一个高性能的代理缓存服务器，Squid支持FTP、gopher、HTTPS和HTTP协议。和一般的代理缓存软件不同，Squid用一个单独的、非模块化的、I/O驱动的进程来处理所有的客户端请求。 1. Download 下载源码： ...
分类：
其他好文 时间：
2018-01-11 22:17:43
阅读次数：
155
正向代理的概念 正向代理,也就是传说中的代理,他的工作原理就像一个跳板,简单的说,我是一个用户,我访问不了某网站,但是我能访问一个代理服务器这个代理服务器呢,他能访问那个我不能访问的网站于是我先连上代理服务器,告诉他我需要那个无法访问网站的内容代理服务器去取回来,然后返回给我 从网站的角度,只在代理 ...
分类：
其他好文 时间：
2017-10-03 16:26:02
阅读次数：
187
