码迷,mamicode.com
首页 >  
搜索关键字:python爬虫 抓取数据    ( 2655个结果
python爬虫抓取色影无忌月赛获奖图片
因为平时爱好摄影,所以喜欢看看色影无忌论坛的获奖摄影作品,所以写了个小script用来抓取上面的获奖图片,亲自测试可以使用。# -*- coding: UTF-8 -*-#作者Rocky Chen import re, urllib, sys, os, time, urllib2, cookielib, string class Download: def __init__(self...
分类:编程语言   时间:2014-12-15 15:33:32    阅读次数:207
Python爬虫预备知识
1.http编程知识http中client 和server的工作模式 client和server建立可靠的tcp链接(在HTTP1.1中这个链接是长时间的,超时断开策略) client通过socket与server通信,发送request并接受response http协议是无状态的,是指每一...
分类:编程语言   时间:2014-12-11 11:56:24    阅读次数:200
python爬虫,爬豆瓣top250电影
python爬虫,爬豆瓣top250电影...
分类:编程语言   时间:2014-12-10 19:52:46    阅读次数:167
Python 爬虫基础
下面是一个 Python 爬虫最简单的例子,使用网络库urllib2 和正则表达式库re,模拟浏览器的 User-Agent。#!/usr/bin/env python# -*- coding: utf-8 -*-#引入基础网络库import urllib2#引入正则表达式模块import re#模...
分类:编程语言   时间:2014-12-10 19:46:40    阅读次数:248
[转]php curl经典最常用的5个例子
转自: http://www.jb100.net/html/content-22-821-1.htmlphp curl常用的5个例子 我用php ,curl主要是抓取数据,当然我们可以用其他的方法来抓取,比如fsockopen,file_get_contents等。但是只能抓那些能直接访问的页面,如...
分类:Web程序   时间:2014-12-09 15:28:11    阅读次数:250
代码性能——盘点数据结构设计方案
每种数据类型都有一个与之相关的队列,这个队列是由处理器架构而非这个语言本身授权的。校准数据元素允许处理器以高效的方式从内存中抓取数据,并由 此提高性能。为了提供最佳的性能,编译器试图保持这种数据元素...
分类:其他好文   时间:2014-12-09 12:36:20    阅读次数:256
scrapy使用
scrapy是一个python爬虫框架,使用起来还是非常简单的。使用pip安装scrapy 首先安装pip,安装后使用pip安装scrapy,pip install scrapyscrapy创建项目,及简单测试 这里有几个比较好的例子 http://blog.csdn.net/HanTangSo.....
分类:其他好文   时间:2014-12-08 22:59:17    阅读次数:333
python 爬虫遇到的网页乱码问题
python 网页爬虫抓取的url页面 是GBK格式。 会显示乱码,所以以至于后面的用正则表达式匹配都是错误的。 以下方法可以解决此问题: reload(sys) sys.setdefaultencoding('utf-8') 在程序开头添加以上代码即可。...
分类:编程语言   时间:2014-12-08 19:39:09    阅读次数:144
nodejs--实现跨域抓取数据
最近公司安排给我一个任务,抓取页面数据;http://survey.finance.sina.com.cn/static/20205/20131120.html?pid=20205&dpc=1,身为一个前端,还没搞过后台的东西,硬着头皮接下之后,就到网上各种找方法了。最终找到一个nodejs...
分类:Web程序   时间:2014-12-08 17:24:57    阅读次数:545
Python3 urllib抓取指定URL的内容
最近在研究Python,熟悉了一些基本语法和模块的使用;现在打算研究一下Python爬虫。学习主要是通过别人的博客和自己下载的一下文档进行的,自己也写一下博客作为记录学习自己过程吧。Python代码写起来和Java的感觉很不一样。Python爬虫主要使用的是urllib模块,Python2.x版本是...
分类:编程语言   时间:2014-12-07 20:19:36    阅读次数:222
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!