码迷,mamicode.com
首页 >  
搜索关键字:requests    ( 2426个结果
对猫眼电影排行的爬取
1. 目标: 对猫眼电影前100名的爬取,并将结果以文件的形式保存下来 2. 准备工作: requests库 3. 抓取分析 offset代表偏移量值,分开请求10次,就可以获取前100的电影 4.抓取首页 5.正则提取 6.文件提取 7.代码整合 8.每页爬取 总代码: ...
分类:其他好文   时间:2018-10-14 13:55:29    阅读次数:5
淘宝商品信息 并且按表格排列。
import requestsimport redef getHTMLtext(url): #获取页面信息 try: r = requests.get(url) print(type(r)) print(r) r.raise_for_status() r.encoding = r.apparent_ ...
分类:其他好文   时间:2018-10-13 22:47:12    阅读次数:4
8-linux 安装 requests 时 pip install 安装不了
安装提示更新:但是必须要sudo才行: sudo pip install --upgrade pip 安装 requests时有报错:这样写可以: sudo python -m pip install requests ...
分类:系统相关   时间:2018-10-13 20:53:52    阅读次数:16
BugKu 速度要快
[题目链接][1] 这题打开就只有“我感觉你得快点!!!”这句话,抓包查看发现有段注释,让我们post margin的值。看来又是编写脚本来实现了。 关键是margin的值在哪呀,通过抓包在response的headers中发现了名为flag的字符串,仔细看了下应该是base64加密了。所以进行解密 ...
分类:其他好文   时间:2018-10-13 20:51:34    阅读次数:16
爬虫原理与数据抓取----- Requests模块
Requests: 让 HTTP 服务人类 虽然Python的标准库中 urllib2 模块已经包含了平常我们使用的大多数功能,但是它的 API 使用起来让人感觉不太好,而 Requests 自称 “HTTP for Humans”,说明使用更简洁方便。 Requests 唯一的一个非转基因的 Py ...
分类:其他好文   时间:2018-10-13 10:55:06    阅读次数:15
spider
############################ requests的使用import requests# 发送请求, 使用的函数按照HTTP访问的方法,主要:get、post、put、delete、head、options,patch# 最终都是调用了request函数,这个函数的原型是: ...
分类:其他好文   时间:2018-10-13 02:55:18    阅读次数:28
python3:requests模块-写了一点
使用requests,它的七个主要方法,在这里只讲两个:get、post >>> import requests >>> r=requests.get("http://www.baidu.com") >>> r.status_code 200 >>> r.encoding 'ISO-8859-1' ...
分类:编程语言   时间:2018-10-12 21:12:10    阅读次数:10
scrapy post Request payload类型值
类型值如下: 网站form表单格式如下: 数据类型为:multipart/form-data,四中常见的post提交方式的一种主要用来上传文件,同时用boundary来分割不同的字段,避免内容重复(百度查的) 使用requests模块测试,比较坑的测了2小时(小白不清楚如何传值)得到结论为: pay ...
分类:其他好文   时间:2018-10-12 17:47:33    阅读次数:16
python xpath 获取指定页面中指定区域的html代码
最近一个朋友问我怎么把一个指定区域的内容转成pdf,网上查了一下python里面有个wkhtmltopdf模块可以将str、file、url转成pdf,我们今天不聊怎么转PDF,聊聊怎么获取页面中指定区域的html源码。用到的模块是lxml和requests这两个模块,没有装的小伙伴可以装一下 pi ...
分类:编程语言   时间:2018-10-12 17:04:55    阅读次数:22
python 爬虫之requests+日志+配置文件读取+mysql入库
mysql.conf ...
分类:数据库   时间:2018-10-12 14:04:15    阅读次数:8
2426条   1 2 3 4 ... 243 下一页
© 2014 mamicode.com 版权所有 京ICP备13008772号-2
迷上了代码!