from lxml import html def parse(): """"将html文件中的内容,使用小path进行提取""" #读取文件中的内容 f = open('./venv/static_/index.html','r',encoding = 'utf-8') s = f.read() ... ...
分类：
编程语言 时间：
2019-06-29 15:11:04
阅读次数：
281
1. 开始 Python 中可以进行网页解析的库有很多，常见的有 BeautifulSoup 和 lxml 等。在网上玩爬虫的文章通常都是介绍 BeautifulSoup 这个库，我平常也是常用这个库，最近用 Xpath 用得比较多，使用 BeautifulSoup 就不大习惯，很久之前就知道 Re ...
分类：
Web程序 时间：
2019-06-28 14:38:22
阅读次数：
146
spider_Un.py import requestsimport timefrom lxml import etreedef get_html(url): # 请求页面 try: headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WO ...
分类：
其他好文 时间：
2019-06-27 19:27:00
阅读次数：
140
最近准备换房子，在网站上寻找各种房源信息，看得眼花缭乱，于是想着能否将基本信息汇总起来便于查找，便用python将基本信息爬下来放到excel，这样一来就容易搜索了。 1. 利用lxml中的xpath提取信息 xpath是一门在 xml文档中查找信息的语言，xpath可用来在 xml 文档中对元素和 ...
分类：
编程语言 时间：
2019-06-26 01:14:17
阅读次数：
267
```python import requests from bs4 import BeautifulSoup import datetime import pandas as pd import matplotlib.pyplot as plt import re import jieba imp... ...
分类：
编程语言 时间：
2019-06-20 23:52:36
阅读次数：
152
BeautifulSoup实现正则表达式的功能，BeautifulSoup.find(html.text, features='lxml') #features: 指定解析器 BeautifulSoup是一个模块，该模块用于接收html或xml字符串，然后将其格式化，之后可以用它提供的方法快速找到需 ...
分类：
其他好文 时间：
2019-06-19 00:40:35
阅读次数：
146
分析： 1、先查看返回的内容是否与显示的内容一样 2、再看页数的变化，每次会加一，总共13页，因此可以一次性构造地址列表 3、因此可直接结合 chrome插件 xpath helper 与 elemetns显示的内容进行定位要爬取的内容 用到的模块 requests+json+lxml+xpath ...
分类：
其他好文 时间：
2019-06-18 12:40:51
阅读次数：
89
目的 批量下载网页图片 导入库 urllib中的request中的urlretrieve方法，可以下载图片 lxml用于解析网页 requests用于获取网站信息 定义回调函数 回调函数中，count表示已下载的数据块，size数据块大小，total表示总大小。 在使用urllib中的request ...
分类：
编程语言 时间：
2019-06-07 22:55:24
阅读次数：
122
目的 爬取http://seputu.com/数据并存储csv文件 导入库 lxml用于解析解析网页HTML等源码，提取数据。一些参考：https://www.cnblogs.com/zhangxinqi/p/9210211.html requests请求网页 chardet用于判断网页中的字符编码 ...
分类：
编程语言 时间：
2019-06-07 19:35:03
阅读次数：
123
今天下午刚学爬虫，要安好多库的感觉，崩溃 requests 首先我们用pip安装完成后，在pycharm里面还要导入进去，没有的话是会报错的 文件--设置--Project Interpreter 然后点击pip进去，搜索requests，再安装进去就可以了 lxml 这里我是选择的在官网上下载对应 ...
分类：
其他好文 时间：
2019-06-01 21:37:43
阅读次数：
464
