学习过程参考原文章：https://www.jianshu.com/p/90e4b83575e2 XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。 相比于BeautifulSoup来说，xpath更加直观，更加便捷， 有个小技巧是可以直接 ...
分类：
其他好文 时间：
2018-06-30 10:57:33
阅读次数：
153
BeautifulSoup 是一个可以从HTML或XML文件中提取数据的Python库，它的使用方式相对于正则来说更加的简单方便，常常能够节省我们大量的时间。 官方中文文档的：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh ...
分类：
其他好文 时间：
2018-06-29 19:20:43
阅读次数：
167
上一篇通过requests+正则爬取了猫眼电影榜单，这次通过requests+beautifulsoup再爬取一次(其实这个网站更适合使用beautifulsoup库爬取) 1.先分析网页源码 可以看出每部电影信息都包含在一堆<dd>...</dd>标签中，所以第一步可以通过beautifulsou ...
分类：
数据库 时间：
2018-06-26 19:34:18
阅读次数：
242
简介 Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是，它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务。 Requests 是使用 Apache2 Licensed 许可证的 ...
分类：
其他好文 时间：
2018-06-26 01:13:38
阅读次数：
345
1 import requests 2 from lxml import etree 3 from bs4 import BeautifulSoup 4 import os 5 from selenium import webdriver 6 7 8 9 #解析每个漫画分页并下载漫画 10 def ...
分类：
编程语言 时间：
2018-06-26 01:08:01
阅读次数：
188
#！Usr/bin/env python # -*- coding:utf-8 -*- # Author:Alex Li html = """ The Dormouse's story The Dormouse's story Once upon a time there were three li... ...
分类：
其他好文 时间：
2018-06-24 10:29:51
阅读次数：
145
开发环境：windows环境+python3+requests库(请求)+BeautifulSoup库(解析) 目标:爬取酷狗音乐Top500并保存到txt中 1、requests库最简单的用法： ...
分类：
其他好文 时间：
2018-06-23 20:46:02
阅读次数：
406
博主使用的是Mac系统，直接通过命令安装库： sudo easy_install beautifulsoup4 安装完成后，尝试包含库运行： from bs4 import BeautifulSoup 若没有报错，则说明库已正常安装完成。 开始 本文会通过这个网页http://reeoo.com来进 ...
分类：
其他好文 时间：
2018-06-23 19:05:29
阅读次数：
240
爬虫代码概述 一.数据存储 csv文件存储，为方便后继使用pandas进行分析，对于爬取的html文件使用BeautifulSoup进行解析 字段选择为 : 书名(titles) 作者/出版社(authors) 评分(nums) 评论数(peoples) 二.网页解析 html中书名(titles) ...
分类：
编程语言 时间：
2018-06-23 17:12:06
阅读次数：
257
#!/usr/bin/python # -*- coding:utf8 -*- import requests import re import os import time # from urllib import json from bs4 import BeautifulSoup from d... ...
分类：
编程语言 时间：
2018-06-22 19:58:00
阅读次数：
393
