码迷,mamicode.com
首页 >  
搜索关键字:requests 、beautifulsoup    ( 5272个结果
请用rquests库的get()函数访问百度主页20次,打印返回状态,text()内容,计算text()属性和xontent属性所返回网页内容的长度
import requests def one(url): try: r=requests.get(url) r.raise_for_status() r.encoding='utf-8' return r.text() except: return("爬虫失败") url="https://www ...
分类:Web程序   时间:2020-05-13 16:53:51    阅读次数:107
爬虫的学习
1.用requests库的ge()函数反问一个网站20次,打印返回状态,text()内容,计算text()属性和content()属性所返回网页内容的长度。 1 import requests 2 for i in range(20): 3 r=requests.get("http://www.go ...
分类:其他好文   时间:2020-05-13 16:45:39    阅读次数:55
google
import requests for i in range(1,21): r = requests.get("https://www.google.cn/") r.raise_for_status() r.encoding='utf-8' print(r.status_code) print(r. ...
分类:其他好文   时间:2020-05-13 16:32:20    阅读次数:74
访问浏览器
import requests from bs4 import BeautifulSoup def getHTMLText(url): try: r=requests.get(url,timeout=30) soup=BeautifulSoup(r.text) r.raise_for_status( ...
分类:其他好文   时间:2020-05-13 16:29:07    阅读次数:160
Python 获取第一个网页内容
import requests def getHTMLText(url): try: r = requests.get(url, timeput=30) r.raise_for_status() #如果状态不是200,引发异常 r.encoding = 'utf-8' #无论原来用什么编码,都改成u ...
分类:编程语言   时间:2020-05-12 14:15:28    阅读次数:86
python, 综合案例,应用tkinter, request建立天气预报查小程序
import tkinter as tk from tkinter import messagebox import urllib.request import requests import re import sys def inquire(): cityName = entry.get() # ...
分类:微信   时间:2020-05-12 13:46:01    阅读次数:91
requests爬虫请求报错:UnicodeEncodeError: 'latin-1' codec can't encode character '\u2026' in position 30
抓包copy数据时省略引起的错误 我的是Cookie省略引起的 在显示属性时,应为属性值过长,所以使用了省略号,导致添加过程中造成了编译错误。 主要原因就是复制Cookie时,因为它太长了,没有等它扩展开来,就直接复制,部分内容变成了省略号 关键错误信息如下: File "/usr/lib/pyth ...
分类:Web程序   时间:2020-05-12 11:50:45    阅读次数:205
月薪2万的爬虫工程师,Python需要学到什么程度?
Python 爬虫学到什么样就可以找工作了? 非计算机专业,正在自学python,很多教程里提到的网站的爬虫都会写了。比如拉勾网,豆瓣,实习僧,京东,淘宝,某妹子图等等……但是因为不是计算机专业的,也没学所谓的四大名著,不知道那四大对找工作重要吗?给一个网站去写一个爬虫,基本上会了,该怎么进阶呢?希 ...
分类:编程语言   时间:2020-05-11 13:39:46    阅读次数:89
01_Python爬蟲入門遇到的坑__反爬蟲策略01
1. 爬取京東商品頁面: 我們現在要爬取這個商品的頁面的詳細信息:【今日必抢 GFI联名版】原装直邮 高端定制 2020夏季新款手工时尚休闲鞋 绿色-定制款 41-标准运动鞋码 要求: 1. 只需要拿到原始代碼就可以了,不用獲得商品的具體信息 我們直接看代碼: import requests # 需 ...
分类:编程语言   时间:2020-05-11 09:17:31    阅读次数:94
中国大学排名爬虫
1.这方面的知识掌握不是很熟练,根据教员讲解和课本,试着模仿着做了中国大学排名爬虫 2.代码如下 import requestfrom bs4 import BeautifulSoup allUniv=[]def getHTMLText(url): try: r=request.get(url,ti ...
分类:其他好文   时间:2020-05-11 01:35:12    阅读次数:126
5272条   上一页 1 ... 46 47 48 49 50 ... 528 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!