有一个很简单的现实情况:我在百度贴吧发了一篇帖子,长达10页,我想写一个爬虫从第一页爬取到第10页,然而条件是我只知道第一页的URL,而且每一页都有下一页的URL,所有的URL都没有规律可循。曾经写爬虫获取URL都是靠规律,靠发现规律,不可否认很多网站当前页的URL和下一页的URL只是阿拉伯数字上的...
分类:
Web程序 时间:
2015-07-05 07:08:54
阅读次数:
242
http://tieba.baidu.com/p/comment?tid=3748203305&pid=68075095623&pn=1参数解析:tid:帖子ID,/p/后面的数字http://tieba.baidu.com/p/3748203305pid: 楼层ID, 查看源代码,有类似post_...
分类:
其他好文 时间:
2015-06-27 11:28:11
阅读次数:
164
python爬取某个网页的图片-如百度贴吧
作者:vpoet
日期:大约在冬季
注:随意copy,不用告诉我
#coding:utf-8
import urllib
import urllib2
import re
if __name__ =="__main__":
rex=r'src="(http://imgsrc.baidu.com/forum/w%3D580.*?\...
分类:
编程语言 时间:
2015-06-23 21:41:11
阅读次数:
360
文 / lifesinger(玉伯也叫射雕)昨天发了一条微博对于前端开发来说,除了蓝色理想,还有几个地方更浪费生命:百度(贴吧等)、CSDN、 cnbeta、QQ 群、微博。这几个地方耗费的时间越多,工资越低。如预期,引来了一堆围观和争论。我发这条微博是有意“偏激”,对不小心伤害到的朋友,特别是在百...
分类:
其他好文 时间:
2015-06-20 01:28:04
阅读次数:
138
网页上的头部固定,但不随滚动条滚动的效果,在百度贴吧里整理出来的网页特效,最开始的时候,固定条可以随滚动条拖动至网页顶部,但到达网页顶部后,再次拖动滚动条,头部并不滚动,其它的内容可以滚动,貌似在网上见的挺多的效果。 jQuery实现的导航固定效果丨电表控制器 导航固定所需js文件:jquery.....
分类:
Web程序 时间:
2015-06-12 13:23:57
阅读次数:
209
作为贴吧重度用户,写了个贴吧爬虫脚本抄了一些别人的代码,记得有个验证码解决的,但是忘了链接了,今天终于自己解决了。...
分类:
编程语言 时间:
2015-06-10 22:39:42
阅读次数:
364
微信支付现金红包接口正式开放,只需开通微信支付,即可接入现金红包。通过现金红包接口,公众号开发者可以策划相关运营活动,向用户发放微信支付现金红包,更好的达到品牌推广及回馈用户的效果。具体能力如下:1、商户调用接口时,通过指定发送对象以及发送金额的方式发放红包,这样的方式,允许商户灵活的应用于各种各样...
分类:
微信 时间:
2015-06-08 18:55:46
阅读次数:
4666
importurllib.requestimportreasggimportos,string,sysimporteasyguiasgresult=[]#urllib.urlopen(url)获取网页源码函数#urllib.urlretrieve(url,‘存储名字‘)将网页资源下载到本地函数defgetyuanma(_url):page=urllib.request.urlopen(_url).read()page1=page.decode(‘UTF-8‘)#..
分类:
其他好文 时间:
2015-05-27 19:28:15
阅读次数:
185
java技术研究QQ群:281463795我也搞了几年JAVA了,由于一向懒惰,没有成为大牛,只是一普通程序猿,不爱玩社交网站,不爱玩微博,唯独喜欢百度贴吧,潜水很久了,手痒来给新人分享下从新手成长为老鸟的已见,也刷刷存在感,应该不比曝照差吧。首先初识语法的阶段,必须要学会怎..
分类:
编程语言 时间:
2015-05-06 18:07:15
阅读次数:
285