最近用Python写了个豆瓣读书的爬虫玩,方便搜罗各种美美书,分享给大家
实现功能:
1 可以爬下豆瓣读书标签下的所有图书
2 按评分排名依次存储
3 存储到Excel中,可方便大家筛选搜罗,比如筛选评价人数>1000的高分书籍;可依据不同的主题存储到Excel不同的Sheet
4 采用User Agent伪装为浏览器进行爬取,并加入随机延时来更好的模仿浏览器行为,避...
分类:
编程语言 时间:
2015-05-21 10:58:26
阅读次数:
327
在使用goaccess对squid访问日志进行分析,squid访问日志配置如下:logformatcombined%>a%[ui%[un[%tl]"%rm%ruHTTP/%rv"%>Hs%<st"%{Referer}>h""%{User-Agent}>h""-"%tr
#logformatcombined%>a%[ui%[un[%tl]"%rm%ruHTTP/%rv"%>Hs%<st"%{Referer}>h""%..
分类:
其他好文 时间:
2015-05-14 12:19:05
阅读次数:
340
1.服务端判断Request.Headers["User-Agent"].Contains("MicroMessenger")2.客户端js判断 var ua = navigator.userAgent.toLowerCase(); if (ua.match(/MicroMessenger/i...
分类:
微信 时间:
2015-05-13 14:38:10
阅读次数:
242
#-*-coding:utf-8-*-importurllibimporturllib2importsslimportosimporttimessl._create_default_https_context=ssl._create_unverified_contexturl=‘https://kyfw.12306.cn/otn/passcodeNew/getPassCodeNew?module=login&rand=sjrand‘user_agent=‘Mozilla/4.0(Mozilla/5.0..
分类:
其他好文 时间:
2015-05-13 06:35:41
阅读次数:
161
function getIEBrowserVersion(){ $agent = strtolower($_SERVER['HTTP_USER_AGENT']); if(strpos($agent, 'msie') !== false) {//如果含有msie ...
分类:
Web程序 时间:
2015-05-13 00:26:05
阅读次数:
177
//默认模拟的header头 private function _defaultHeader() { $header = "User-Agent:Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.12) Gecko/...
分类:
其他好文 时间:
2015-05-11 12:48:35
阅读次数:
119
背景 最近想用fidder模拟post请求,怎么都传值失败,发现写Composer => Request Body中写的内容,总是无法映射到mvc的action参数上。百度一番,发现如下解决方案:Json格式数据传递User-Agent: Fiddler Content-Type: applic.....
分类:
其他好文 时间:
2015-05-11 12:35:15
阅读次数:
158
浏览器User-Agent的详细信息 PC端: safari 5.1 – MAC User-Agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50 safari 5.1 ...
分类:
其他好文 时间:
2015-05-10 13:05:18
阅读次数:
723
访问控制以下针对apache虚拟主机配置网站访问,限制指定ip才可以访问。只允许内网登录,不允许其他地址登录。Order定义顺序,先deny,然后执行下面的denyfromall,然后执行allow,再执行allowfrom127.0.0.1,意思是拒绝所有的,只允许本地可以访问。<Directory/data/www/>..
分类:
Web程序 时间:
2015-05-07 17:03:37
阅读次数:
274
HTTP客户端识别可以记录客户端信息的http首部:From,User-Agent,Referer,Authorization,Client-IP,X-Forwarded-For,CookieFrom:记录客户端的Email地址User-Agent:记录客户端浏览器信息Referer:记录用户来源页面的url(用户从哪个页面链接过来的)用户登录:在浏览器发送..
分类:
Web程序 时间:
2015-05-07 17:03:12
阅读次数:
180