import requests def one(url): try: r=requests.get(url) r.raise_for_status() r.encoding='utf-8' return r.text() except: return("爬虫失败") url="https://www ...
分类:
Web程序 时间:
2020-05-13 16:53:51
阅读次数:
107
1.用requests库的ge()函数反问一个网站20次,打印返回状态,text()内容,计算text()属性和content()属性所返回网页内容的长度。 1 import requests 2 for i in range(20): 3 r=requests.get("http://www.go ...
分类:
其他好文 时间:
2020-05-13 16:45:39
阅读次数:
55
import requests for i in range(1,21): r = requests.get("https://www.google.cn/") r.raise_for_status() r.encoding='utf-8' print(r.status_code) print(r. ...
分类:
其他好文 时间:
2020-05-13 16:32:20
阅读次数:
74
import requests from bs4 import BeautifulSoup def getHTMLText(url): try: r=requests.get(url,timeout=30) soup=BeautifulSoup(r.text) r.raise_for_status( ...
分类:
其他好文 时间:
2020-05-13 16:29:07
阅读次数:
160
import requests def getHTMLText(url): try: r = requests.get(url, timeput=30) r.raise_for_status() #如果状态不是200,引发异常 r.encoding = 'utf-8' #无论原来用什么编码,都改成u ...
分类:
编程语言 时间:
2020-05-12 14:15:28
阅读次数:
86
import tkinter as tk from tkinter import messagebox import urllib.request import requests import re import sys def inquire(): cityName = entry.get() # ...
分类:
微信 时间:
2020-05-12 13:46:01
阅读次数:
91
抓包copy数据时省略引起的错误 我的是Cookie省略引起的 在显示属性时,应为属性值过长,所以使用了省略号,导致添加过程中造成了编译错误。 主要原因就是复制Cookie时,因为它太长了,没有等它扩展开来,就直接复制,部分内容变成了省略号 关键错误信息如下: File "/usr/lib/pyth ...
分类:
Web程序 时间:
2020-05-12 11:50:45
阅读次数:
205
Python 爬虫学到什么样就可以找工作了? 非计算机专业,正在自学python,很多教程里提到的网站的爬虫都会写了。比如拉勾网,豆瓣,实习僧,京东,淘宝,某妹子图等等……但是因为不是计算机专业的,也没学所谓的四大名著,不知道那四大对找工作重要吗?给一个网站去写一个爬虫,基本上会了,该怎么进阶呢?希 ...
分类:
编程语言 时间:
2020-05-11 13:39:46
阅读次数:
89
1. 爬取京東商品頁面: 我們現在要爬取這個商品的頁面的詳細信息:【今日必抢 GFI联名版】原装直邮 高端定制 2020夏季新款手工时尚休闲鞋 绿色-定制款 41-标准运动鞋码 要求: 1. 只需要拿到原始代碼就可以了,不用獲得商品的具體信息 我們直接看代碼: import requests # 需 ...
分类:
编程语言 时间:
2020-05-11 09:17:31
阅读次数:
94
1.这方面的知识掌握不是很熟练,根据教员讲解和课本,试着模仿着做了中国大学排名爬虫 2.代码如下 import requestfrom bs4 import BeautifulSoup allUniv=[]def getHTMLText(url): try: r=request.get(url,ti ...
分类:
其他好文 时间:
2020-05-11 01:35:12
阅读次数:
126