码迷,mamicode.com
首页 > 其他好文 > 详细

py爬虫 —— 三个爬虫的小栗子

时间:2019-11-17 12:48:46      阅读:60      评论:0      收藏:0      [点我收藏+]

标签:com   raise   parent   col   更换   request   user   return   ash   

三个爬虫的小栗子

第一个例子 —— 京东商品的爬取案例

import requests


def getHTMLtext(url):
    try:
        r = requests.request(‘get‘ ,url )
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "出现异常"
url = "https://item.jd.com/100005477055.html"
print(getHTMLtext(url))

结果如下:

技术图片

 

 第二个例子 —— 亚马逊爬虫案例

import requests

url = ‘https://www.amazon.cn/dp/B00RY59GJ0?ref_=Oct_DLandingSV2_PC_e9324a46_0&smid=A2EDK7H33M5FFG‘

r = requests.request(‘get‘,url)

print(r.status_code)

header = {‘user-agent‘: ‘Mozilla/5.0‘}

r = requests.request(‘get‘,url,headers = header)

print(r.headers)

print(r.status_code)

print(r.text)

亚马逊的官网是反爬虫的,因此我们要将user-agent更换

技术图片

 

 

 第三个例子 —— 百度的post案例

 

py爬虫 —— 三个爬虫的小栗子

标签:com   raise   parent   col   更换   request   user   return   ash   

原文地址:https://www.cnblogs.com/Nlifea/p/11875649.html

踩
(0)
赞
(0)
   
举报
评论 一句话评论(0)
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!