码迷,mamicode.com
首页 >  
搜索关键字:requests    ( 1488个结果
Windows下如何安装python第三方库lxml
lxml是个非常有用的python库,它可以灵活高效地解析xml,与BeautifulSoup、requests结合,是编写爬虫的标准姿势。 参考 "Windows下如何安装python第三方库lxml" 文章记于16年,此篇文章对此更新并加以细节解释 工具/原料 + python + pip +我 ...
分类:编程语言   时间:2018-01-23 00:47:32    阅读次数:11
爬虫目录
爬虫的基本原理 爬虫——请求库之requests 爬虫——请求库之selenium模块 爬取拉勾网示例 破解极验滑动验证码 解析库之——beautifulsoup 存储库之——MongoDB 爬虫关于高性能方面 ...
分类:其他好文   时间:2018-01-22 21:14:48    阅读次数:6
Python爬取代理IP
环境Python3.6#!/usr/bin/env python #-*-coding=utf-8 -*- #AUTHOR:duwentao import requests import re print("获取代理IP地址") header = {     &qu
分类:编程语言   时间:2018-01-22 19:14:03    阅读次数:6
Python 爬虫实例(11)—— 爬虫 苏宁易购
# coding:utf-8 import json import redis import time import requests session = requests.session() import logging.handlers import pickle import sys impo... ...
分类:编程语言   时间:2018-01-22 01:17:39    阅读次数:19
Python接口自动化--requests 2
# _*_ encoding:utf-8 _*_ import json import requests #post请求 payload = {"cindy":"hello world", "python":"1078370383"} r = requests.post('http://httpbi... ...
分类:编程语言   时间:2018-01-20 15:03:00    阅读次数:10
Python接口自动化--requests 1
# _*_ encoding:utf-8 _*_ import requests #请求博客园首页,无参数的get请求 r = requests.get('http://www.cnblogs.com/cindy-cindy/') print (r.status_code) print (r.tex... ...
分类:编程语言   时间:2018-01-20 13:58:52    阅读次数:10
爬虫基本原理
一.爬虫是什么? 二.爬虫的基本流程 三.请求与响应 四.Request 五.Response 六.总结 一爬虫是什么? 二爬虫的基本流程 三请求与响应 四.Request from urllib.parse import urlencode import requests headers={ 'A ...
分类:其他好文   时间:2018-01-20 13:56:58    阅读次数:12
python-爬虫之requests模块介绍(登陆github)
介绍 使用requests可以模拟浏览器的请求,比起之前用到的urllib,requests模块的api更加便捷(本质就是封装了urllib3) 注意 requests库发送请求将网页内容下载下来以后,并不会执行js代码,这需要我们自己分析目标站点然后发起新的request请求 安装 pip3 in ...
分类:编程语言   时间:2018-01-20 12:38:50    阅读次数:7
Python3.x:BeautifulSoup()解决中文乱码问题
Python3.x:BeautifulSoup()解决中文乱码问题 问题: BeautifulSoup获取网页内容,中文显示乱码; 解决方案: 如果中文页面编码是gb2312,gbk,在BeautifulSoup构造器中传入fromEncoding="gb18030"参数即可解决乱码问题, 即使分析 ...
分类:编程语言   时间:2018-01-20 11:07:49    阅读次数:9
爬虫请求库——selenium
selenium模块 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题。缺点是效率会变得很慢。 selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等,来拿到网页渲染之后的结果,可支持多 ...
分类:其他好文   时间:2018-01-19 18:53:08    阅读次数:36
1488条   1 2 3 4 ... 149 下一页
© 2014 mamicode.com 版权所有 京ICP备13008772号-2
迷上了代码!