from urllib import request from time import sleep from lxml import etree import csv # import random #sleep(random.random(1)*2) 随机秒数 # 参数部分 # sz_url = ... ...
分类：
其他好文 时间：
2018-06-20 14:33:12
阅读次数：
194
1.确认python和pip安装成功 2.安装win32py 提供win32api，下载地址：https://sourceforge.net/projects/pywin32/files/ 3.安装lxml lxml是一种使用 Python 编写的库，可以迅速、灵活地处理 XML。下载地址 http ...
分类：
编程语言 时间：
2018-06-17 17:58:36
阅读次数：
352
晚上回来学学爬虫，记住，很多网站一般新手是爬不出来的，来个简单的，往下看：import urllib.requestfrom bs4 import BeautifulSoup #我用的pycharm需要手动导入这个包的import lxml #同上def getHtml(url,headers): ...
分类：
编程语言 时间：
2018-06-13 23:37:35
阅读次数：
258
Beautiful Soup 的使用 Beautiful Soup 就是python的一个HTML或XML的解析库，也是用于从网页中提取数据。废话不多说，直接看基本用法： 这里首先声明了html，它是一个HTML字符串，接着，将它作为第一个参数传递给BeautifulSoup对象，该对象的第二个参数 ...
分类：
其他好文 时间：
2018-06-13 22:21:53
阅读次数：
173
2.爬取数据 1.获取各省的分数线信息 获取各省份的链接： # 获取分数线 def get_score(url): web_data = requests.get(url, headers=header) soup = BeautifulSoup(web_data.content, 'lxml') ...
分类：
编程语言 时间：
2018-06-13 19:35:38
阅读次数：
294
这个就比较简单了没有什么好强调的，如果返回的json 就是直接按照键值取，如果是网页就是用lxml模块的html进行xpath解析。 ...
分类：
编程语言 时间：
2018-06-12 22:35:10
阅读次数：
217
运行cmd 命令安装 pip install lxml 不能安装 更新pip 到最新版本 先卸载pip， cmd运行 pip uninstall 重新安装python以后 pip更新到最新版本 lxml 通过lxml的.whl文件来进行安装。https://www.lfd.uci.edu/~gohl ...
# 爬虫网络请求方式：urllib(模块), requests(库), scrapy, pyspider(框架)# 爬虫数据提取方式：正则表达式, bs4, lxml, xpath, css哪种方法都可以用,可以根据实际情况选用方式 ...
分类：
其他好文 时间：
2018-06-09 13:14:40
阅读次数：
104
最近遇到个需求，需要爬一些数据使用，写好了爬虫后爬到了一段HTML，然后用lxml解析，接下来就是定位到具体节点提取内容。遇到了一个问题，想要提取的内容在一个class名为full-content的<div>中，文本内容有可能就在div中，可有可能在子孙节点中，那怎么全部提取呢？查了一下Xpath有 ...
分类：
其他好文 时间：
2018-06-09 11:28:57
阅读次数：
169
