爬虫代理IP由芝麻HTTP服务供应商提供今天在写爬虫程序的时候由于要翻页，做除法分页的时候出现了 ValueError: invalid literal for int() with base 10的错误 网上同样的错误有人建议用round(float(“1.0”))，但是解决不了我这个问题，rou ...
分类：
编程语言 时间：
2017-12-12 13:49:52
阅读次数：
167
爬虫代理IP由芝麻HTTP服务供应商提供 使用 python 代码收集主机的系统信息，主要：主机名称、IP、系统版本、服务器厂商、型号、序列号、CPU信息、内存等系统信息。 实验测试结果： ...
分类：
编程语言 时间：
2017-12-12 12:28:26
阅读次数：
174
一、代码示例requests
header?=?{
????:?}
proxy_ip?=?{
????:?}
html?=?requests.get(=header=proxy_ip)
html
html.text二、通过修改proxy_
分类：
编程语言 时间：
2017-12-02 14:11:04
阅读次数：
5334
还是豆瓣top250爬虫的例子，添加下载中间件，主要是设置动态Uesr-Agent和代理IP Scrapy代理IP、Uesr-Agent的切换都是通过DOWNLOADER_MIDDLEWARES进行控制，我们在settings.py同级目录下创建middlewares.py文件，包装所有请求。 mi ...
分类：
编程语言 时间：
2017-10-30 18:22:41
阅读次数：
163
客户端的ip变量： $_SERVER['REMOTE_ADDR'] :客户端IP，也有可能是代理IP $_SERVER['HTTP_CLIENT_IP']:代理端的IP，可能存在，也可能伪造 $_SERVER['HTTP_X_FORWARD_FOR'] ：用户在哪个ip上使用的id，可能存在，也可能 ...
分类：
Web程序 时间：
2017-10-25 17:12:50
阅读次数：
260
-11.22访问日志不记录静态文件
-11.23访问日志切割
-11.24静态元素过期时间
-扩展
1.apache日志记录代理IP以及真实客户端IPhttp://ask.apelearn.com/question/960
2.apache只记录指定URI的日志http://ask.apelearn.com/question/981
3.apache日志记录客户端请求的域名http://as..
分类：
其他好文 时间：
2017-10-11 00:50:35
阅读次数：
237
1使用代理ip 使用代理ip是非常有必要的，我就成功的被反爬虫了。方法如下 1建一个代理ip列表 daili_ip = [ 'ip:端口' 'ip:端口' 'ip:端口' ] 2通过radom方法在上面列表中随机获取ip every_ip = radom.chice(daili_ip) 最后将任意i ...
分类：
其他好文 时间：
2017-09-13 22:08:44
阅读次数：
155
本文出至：新太潮流网络博客 PHP获取用户的真实IP地址，非代理IP 本文出至：新太潮流网络博客 ...
分类：
Web程序 时间：
2017-09-12 12:17:55
阅读次数：
239
1，主配置文件模板
#cathttpd.conf
ServerRoot"/usr/local/apache"
Listen80
LoadModuleauthn_file_modulemodules/mod_authn_file.so
LoadModuleauthn_core_modulemodules/mod_authn_core.so
LoadModuleauthz_host_modulemodules/mod_authz_host.so
LoadModuleauthz_groupfile_..
分类：
Web程序 时间：
2017-08-16 15:17:39
阅读次数：
187
