码迷,mamicode.com
首页 >  
搜索关键字:爬虫 pyton    ( 10534个结果
这是一篇日志测试
最近一直没更新了诶,因为学习Backbone好头痛,别问我为什么不继续AngularJs~因为2.0要出来了啊,妈蛋!好,言归正传,最近帮我的好基友扒数据,他说要一些股票债券的数据。我一听,那不就是要做爬虫了么...果断用Node做!(其实也有一个股票数据API,sina提供的,但是由于不适用于债券...
分类:其他好文   时间:2015-01-30 14:38:01    阅读次数:162
一个简单的Python网络爬虫(抓图),针对某论坛.
1 #coding:utf-8 2 import urllib2 3 import re 4 import threading 5 6 #图片下载 7 def loadImg(addr,x,y,artName): 8 data = urllib2.urlopen(addr).read()...
分类:编程语言   时间:2015-01-30 14:37:43    阅读次数:150
python图片小爬虫
import re import urllib import os def rename(name): name = name + '.jpg' return name def getHtml(url): page = urllib.urlopen(url) html = page.read() return html def getImg(ht...
分类:编程语言   时间:2015-01-30 09:08:37    阅读次数:211
有趣的Node爬虫,数据导出成Excel
最近一直没更新了诶,因为学习Backbone好头痛,别问我为什么不继续AngularJs~因为2.0要出来了啊,妈蛋!好,言归正传,最近帮我的好基友扒数据,他说要一些股票债券的数据。我一听,那不就是要做爬虫了么...果断用Node做!(其实也有一个股票数据API,sina提供的,但是由于不适用于.....
分类:其他好文   时间:2015-01-29 23:58:53    阅读次数:374
坑爹货 AngleSharp
这两天在做个爬虫, 一次任务要下载3万多个页面, 然后从这3万多个页面提取数据.以前写过两年的类似的东西, 基本都是写正则表达式, 速度快, 就是写正则表达式老费劲了, 目标网页稍微改动一点就要重写正则.后来我用了 HtmlAgilityPack + Fizzler, 很轻松的就处理了.昨天, 我找...
分类:其他好文   时间:2015-01-29 17:13:50    阅读次数:405
python 爬虫第二个程序
#!/usr/bin/python #encoding=utf-8 import?urllib2???? import?urllib???? import?re???? import?thread???? import?time???? class?Spider(object): ???? ????def??__ini...
分类:编程语言   时间:2015-01-29 01:59:29    阅读次数:347
多线程爬虫Java调用wget下载文件,独立线程读取输出缓冲区
写了个抓取appstore的,要抓取大量的app,本来是用httpclient,但是效果不理想,于是直接调用wget下载,但是由于标准输出、错误输出的原因会导致卡住,另外wget也会莫名的卡住。所以我采用:一、独立线程读取输出信息;二、自己实现doWaitFor方法来代替api提供的waitFor(...
分类:编程语言   时间:2015-01-28 19:12:01    阅读次数:453
Java写的爬虫的基本程序
这是一个web搜索的基本程序,从命令行输入搜索条件(起始的URL、处理url的最大数、要搜索的字符串),它就会逐个对Internet上的URL进行实时搜索,查找并输出匹配搜索条件的页面。这个程序的原型来自《java编程艺术》,为了更好的分析,站长去掉了其中的GUI部分,并稍作修改以适用jdk1.5。...
分类:编程语言   时间:2015-01-28 17:30:59    阅读次数:275
获取罗辑思维每天的微信语音(python)
获取罗辑思维每天的微信语音(python)...
分类:微信   时间:2015-01-28 16:04:00    阅读次数:426
【转】深入解析cookie
来源:http://www.freebuf.com/articles/web/42802.html写的超级详细,mark下,刚好学习爬虫的时候,有用到cookie模仿登录的,就顺便了解下。0×00 引言在Web技术的发展史上,Cookie技术的出现是一次重大的 变革。但是, Cookie技术又是一项...
分类:其他好文   时间:2015-01-27 18:16:34    阅读次数:190
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!