码迷,mamicode.com
首页 > 编程语言 > 详细

利用python3爬虫爬取漫画岛-非人哉漫画

时间:2019-08-15 21:05:26      阅读:137      评论:0      收藏:0      [点我收藏+]

标签:知识   pytho   模块   soup   F12   span   mamicode   webkit   microsoft   

       最近学了一点点python爬虫的知识,面向百度编程爬了一本小说之后感觉有点不满足,于是突发奇想尝试爬一本漫画下来看看。

 一、效果展示

  首先是我们想要爬取的漫画网页:  http://www.manhuadao.cn/

    网页截图:

      技术图片

         其次是爬取下来的效果:

         技术图片

        每一回的文件夹里面是这样的:  (因为网站图片的问题...所以就成了这个鬼样子)

          技术图片

 二、分析原理

     1、准备:需要vscode或者其他能够编译运行python的软件,推荐python版本3.X ,否则有可能出现编译问题。

       下载所需模块:win+R 进入命令行, 输入 pip install <模块名> 即可下载。例如:

pip install beautifulsoup4

       2、原理: 模拟浏览器点击->打开漫画网页链接->获取网页源码->定位每一章漫画的链接->模拟点击->获取图片页面源码->定位图片链接->下载图片

 三、实际操作(代码附在最后)

  1、引入模块   (这里不再详述)

        技术图片

  2、模拟浏览器访问网页

              技术图片

    (1)、 这里我们打开漫画的目录页,如下:   url = ”http://www.manhuadao.cn/Home/ComicDetail?id=58ddb07827a7c1392c234628“  ,此链接就是目录页链接。

                     技术图片

 

    (2)、按F12打开此网页的源码(谷歌浏览器),选中上方NetWork,Ctrl+R刷新。

                     技术图片

 

     (3)、找到加载网页的源码文件,点击Headers,如下图:  Status Code表示网页返回的代码,值为200时表示访问成功。

       技术图片

 

    (4)、headers中的参数为下面红框User-Agent。

response = requests.get(url=url, headers=headers)  # 模拟访问网页
print(response)  # 此处应输出   <Response [200]>
print(response.text)   # 输出网页源码

             两个输出分别输出:

                   技术图片  输出返回200表示访问成功。

                   技术图片(节选)

 

    (5)、将html代码存入 data 中,xpath定位每一章链接。

data = etree.HTML(response.text)
# tp = data.xpath(‘//ul[@class="read-chapter"]/li/a[@class="active"]/@href‘)
tp = data.xpath(//*[@class="yesReader"]/@href)
zhang_list = tp   # tp为链接列表

                输出zhang_list,结果如下:

           技术图片

  

    (6)、获取图片链接

 1 i=1
 2 for next_zhang in zhang_list:    # 在章节列表中循环
 3     i=i+1
 4     j=0
 5     hui_url = r_url+next_zhang
 6     name1 = ""+str(i)+""
 7     file = C:/Users/wangyueke/Desktop/+keyword+/{}/.format(name1)   # 创建文件夹
 8     if not os.path.exists(file):
 9         os.makedirs(file)
10         print(创建文件夹:, file)
11     response = requests.get(url=hui_url, headers=headers)    # 模拟访问每一章链接
12     data = etree.HTML(response.text)
13     # tp = data.xpath(‘//div[@class="no-pic"]//img/@src‘)
14     tp = data.xpath(//div[@class="main-content"]//ul//li//div[@class="no-pic"]//img/@src)   # 定位
15     ye_list = tp

    (7)、下载图片

1 for k in ye_list:    # 在每一章的图片链接列表中循环
2     download_url = tp[j]
3     print(download_url)
4     j=j+1
5     file_name=""+str(j)+""
6     response = requests.get(url=download_url)    # 模拟访问图片链接
7     with open(file+file_name+".jpg","wb") as f:
8         f.write(response.content)

五、代码

 1 ‘‘‘
 2 用于爬取非人哉漫画
 3 目标网址:http://www.manhuadao.cn/
 4 开始时间:2019/8/14 20:01:26
 5 完成时间:2019/8/15 11:04:56
 6 作者:kong_gu
 7 ‘‘‘
 8 import requests
 9 import json
10 import time
11 import os
12 from lxml import etree
13 from bs4 import BeautifulSoup
14 
15 
16 def main():
17     keyword="非人哉"
18     file = E:/{}.format(keyword)
19     if not os.path.exists(file):
20         os.mkdir(file)
21         print(创建文件夹:,file)
22     r_url="http://www.manhuadao.cn/"
23     url = "http://www.manhuadao.cn/Home/ComicDetail?id=58ddb07827a7c1392c234628"
24     headers = {  # 模拟浏览器访问网页
25         User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) \\Chrome/75.0.3770.142 Safari/537.36}
26     response = requests.get(url=url, headers=headers)
27     # print(response.text)   # 输出网页源码
28     data = etree.HTML(response.text)
29     # tp = data.xpath(‘//ul[@class="read-chapter"]/li/a[@class="active"]/@href‘)
30     tp = data.xpath(//*[@class="yesReader"]/@href)
31     zhang_list = tp
32     i=1
33     for next_zhang in zhang_list:
34         i=i+1
35         j=0
36         hui_url = r_url+next_zhang
37         name1 = ""+str(i)+""
38         file = C:/Users/wangyueke/Desktop/+keyword+/{}/.format(name1)    # 这里需要自己设置路径
39         if not os.path.exists(file):
40             os.makedirs(file)
41             print(创建文件夹:, file)
42         response = requests.get(url=hui_url, headers=headers)
43         data = etree.HTML(response.text)
44         # tp = data.xpath(‘//div[@class="no-pic"]//img/@src‘)
45         tp = data.xpath(//div[@class="main-content"]//ul//li//div[@class="no-pic"]//img/@src)
46         ye_list = tp
47         for k in ye_list:
48             download_url = tp[j]
49             print(download_url)
50             j=j+1
51             file_name=""+str(j)+""
52             response = requests.get(url=download_url)
53             with open(file+file_name+".jpg","wb") as f:
54                 f.write(response.content)
55 
56 
57 if __name__ == __main__:
58     main()

    第一次写博客,如果有写的不对的地方,请大佬指正,谢谢!    _(:з」∠)_  

 

利用python3爬虫爬取漫画岛-非人哉漫画

标签:知识   pytho   模块   soup   F12   span   mamicode   webkit   microsoft   

原文地址:https://www.cnblogs.com/kong-gu/p/11360308.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!