码迷,mamicode.com
首页 > 编程语言 > 详细

python 获取豆瓣电影排行榜前250并写入excel

时间:2020-06-26 23:56:24      阅读:148      评论:0      收藏:0      [点我收藏+]

标签:数据   网线   for循环   输出   参数   import   print   style   user   

豆瓣电影排行榜前250 分为10页,第一页的url为https://movie.douban.com/top250,但实际上应该是https://movie.douban.com/top250?start=0 后面的参数0表示从第几个开始,如0表示从第一(肖申克的救赎)到第二十五(触不可及),https://movie.douban.com/top250?start=25表示从第二十六(蝙蝠侠:黑暗骑士)到第五十名(死亡诗社)。等等,

所以可以用一个步长为25的range的for循环参数

for i in range(0, 250, 25):
    print(i)

分析完页面组成后,开始获取页面,直接request.get()发现没有返回任何东西,输出一下响应码

url = https://movie.douban.com/top250?start=0
res = request.get(url=url)
print(res.status_code)

发现返回响应码418

技术图片

 

 

 以前没见过这个,拉网线上网查一下,发现给get里面加一个header参数就行了

这里可以用自己浏览器的user-agent,如 

headers = {‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36‘}

或者用fake_agent(安装直接用pip install fake_agent) 来为自己生成一个随机的agent添加到header字典中

from fake_useragent import UserAgent
headers = {User-Agent: UserAgent().random}

之后就可以得到页面源码了。

然后使用lxml.etree,即xpath解析页面源码。用浏览器插件xpath finder快速定位到元素

技术图片

import requests
import lxml.etree as etree
url = https://movie.douban.com/top250?start=0
headers = {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36}
res = requests.get(url=url, headers=headers)
print(res.text)

html = etree.HTML(res.text)
name = html.xpath("/html/body/div[3]/div[1]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/span[1]")
print(name)

 

但是直接这样子,解析到的是这样的结果

[<Element span at 0x20b2f0cc488>]

技术图片

 

 关于这东西是什么,有文章写的很好:https://www.jb51.net/article/132145.htm

这里我直接写解决部分,在使用xpath解析时,后面加上/text()

name = html.xpath("/html/body/div[3]/div[1]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/span[1]/text()")

解决后,再使用xpath finder插件,一步一步获取到电影所有数据

最后把这个写在函数里,外面再套上一开始说的循环,就OK了

 

  # -*- coding: utf-8 -*-

import requests
import lxml.etree as etree


def get_source(page):
url = ‘https://movie.douban.com/top250?start={}‘.format(page)
headers = {
‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36‘}
print(url)
res = requests.get(url=url, headers=headers)
print(res.status_code)
html = etree.HTML(res.text)
for i in range(1, 26):
name = html.xpath("/html/body/div[3]/div[1]/div/div[1]/ol/li[{}]/div/div[2]/div[1]/a/span[1]/text()".format(i))
info = html.xpath("/html/body/div[3]/div[1]/div/div[1]/ol/li[{}]/div/div[2]/div[2]/p[1]/text()".format(i))
score = html.xpath(
"/html/body/div[3]/div[1]/div/div[1]/ol/li[{}]/div/div[2]/div[2]/div/span[2]/text()".format(i))
slogan = html.xpath(
"/html/body/div[3]/div[1]/div/div[1]/ol/li[{}]/div/div[2]/div[2]/p[2]/span/text()".format(i))
print(name[0])
print(info[0].replace(‘ ‘, ‘‘))
print(info[1].replace(‘ ‘, ‘‘))
print(score[0])
print(slogan[0])


n = 1
for i in range(0, 250, 25):
print(‘第%d页‘ % n)
n += 1
get_source(i)
print(‘==========================================‘)

 

 

技术图片

 

 

excel操作不来。淦。鸽了

python 获取豆瓣电影排行榜前250并写入excel

标签:数据   网线   for循环   输出   参数   import   print   style   user   

原文地址:https://www.cnblogs.com/This-is-Y/p/13196523.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!