码迷,mamicode.com
首页 >  
搜索关键字:urllib    ( 2222个结果
第五节 IP代理和cookie
1 import urllib.request 2 url1 = 'https://www.baidu.com' 3 4 5 #http://www.httpbin.org 这个网站可以课程方便的查看http请求的一些参数 6 # 快代理 7 #创建一个代理IP,传入的值是一个字典,键是http或者 ...
分类:其他好文   时间:2020-03-16 21:55:40    阅读次数:79
第一节 urlopen及urlretrieve
1 from urllib import request 2 from urllib import request 3 4 5 #保存请求返回的数据,retrieve取回,检索数据 6 resp1 = request.urlretrieve('http://www.baidu.com','baidu ...
分类:Web程序   时间:2020-03-16 21:55:27    阅读次数:84
第二节 urlparse和urlsplit
1 import urllib.request 2 import urllib.parse 3 4 5 #分割URL网址 6 #两者基本一样,唯一不同的是urlparse会多一个params属性 7 url1 = 'https://baike.baidu.com/item/%E8%99%9A%E6% ...
分类:Web程序   时间:2020-03-16 21:53:46    阅读次数:78
第六节 爬虫用密码登录自动获取cookie
from urllib import request,parse from http.cookiejar import CookieJar ur1 = r"https://mail.yeah.net/" #创建一个cookiejar对象 cookiejar = CookieJar() #使用cook ...
分类:其他好文   时间:2020-03-16 21:39:25    阅读次数:60
第七节 将cookie保存到本地
1 from urllib import request 2 from http.cookiejar import MozillaCookieJar 3 cookiejar = MozillaCookieJar('cookie.txt') 4 handler = request.HTTPCookie ...
分类:其他好文   时间:2020-03-16 21:38:27    阅读次数:51
第二节 urlencode编码和parse解码
1 import urllib.request 2 import urllib.parse 3 4 5 params = {'name':'张三',"age":"18",'say':'hello world'} 6 result = urllib.parse.urlencode(params) 7 ...
分类:Web程序   时间:2020-03-16 21:38:14    阅读次数:99
第一个爬虫经历----豆瓣电影top250(经典案例)
因为要学习数据分析,需要从网上爬取数据,所以开始学习爬虫,使用python进行爬虫,有好几种模拟发送请求的方法,最基础的是使用urllib.request模块(python自带,无需再下载),第二是requests模块(第三方库,需要pip install requests),第三是直接使用scap ...
分类:其他好文   时间:2020-03-14 21:42:20    阅读次数:80
更新TDX自定义数据
import urllib.request; from pandas import DataFrame; from pandas import Series; from bs4 import BeautifulSoup; import pandas as pd file_name = "2222.t ...
分类:其他好文   时间:2020-03-14 01:13:06    阅读次数:92
爬虫02-简单伪装浏览器
from urllib import parse from urllib import request # url="https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=" url="https:// ...
分类:其他好文   时间:2020-03-11 11:00:16    阅读次数:67
爬虫01-urllib常用函数
from urllib import request from urllib import parse #1.读取网页 url="http://www.baidu.com" resp=request.urlopen(url) # print(resp.getcode())#获取响应码 # print ...
分类:Web程序   时间:2020-03-11 10:55:39    阅读次数:79
2222条   上一页 1 ... 15 16 17 18 19 ... 223 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!