1.打开网页 2.获取源代码 3.解析网页，提取需要的内容，先找第一名的 这里找到需要提取的标题a标签，分析特点，它的类是title，在代码中可以用find函数查找 但是发现打印只能打出一条，所以改用另一条find_all涵数 发现成功将排行榜爬取下来，想到可以用for循环把结果一个个打印出来 因为 ...
分类：
其他好文 时间：
2020-03-12 23:51:01
阅读次数：
116
import requests from lxml import etree url_domain="https://www.dytt8.net" headers={ "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537 ...
分类：
Web程序 时间：
2020-03-12 12:49:30
阅读次数：
91
```import requestsimport requests.adaptersfrom bs4 import BeautifulSoupfrom lxml import etreefrom pyquery import PyQuery as pqdef get_url_txt(url, hea... ...
分类：
编程语言 时间：
2020-03-12 10:14:57
阅读次数：
88
lxml中的Xpath的使用： #coding:utf-8 import lxml import lxml.etree text=""" <div> <ul> <li class="item-0"><a href="link1.html">first item</a></li> <li class= ...
分类：
其他好文 时间：
2020-03-10 10:27:55
阅读次数：
67
安装 pip install beautifulsoup4 小测 1. 即使安装的是beautifulsoup4，但是使用时简写为bs4 2. 从bs4库导入一个BeautifulSoup类，注意B和S大写 3. html.parser为解析器，还有xml，lxml， html5lib等解析器 bs ...
分类：
编程语言 时间：
2020-03-09 22:25:39
阅读次数：
65
Python面试重点（爬虫篇） 注意：只有必答题部分计算分值，补充题不计算分值。 第一部分 必答题 注意：第31题1分，其他题均每题3分。 了解哪些基于爬虫相关的模块？ requests、urllib、lxml、bs4、selenium 常见的数据解析方式？ re、lxml、bs4 列举在爬虫过程中 ...
分类：
编程语言 时间：
2020-03-06 13:26:32
阅读次数：
88
from lxml import etree当我们不用框架的时候会用到这样的库，然后进行xpath，可有时候得到的却不是我们想要的而是：Element 类型的东西，那我们怎么转换成自己想要的东西呢？ from lxml import html myWant = html.tostring(yourE ...
分类：
其他好文 时间：
2020-03-06 10:40:08
阅读次数：
69
最近在研究kafka，看了一堆理论的东西，想动手实践一些东西，奈何手上的数据比较少，突发奇想就打算写个爬虫去抓一些数据来玩，顺便把深入一下爬虫技术。 之前写过一些小爬虫，一般就是用python的requests+lxml来爬取数据。这次打算学一下python的scrapy框架来爬取数据。解析网页内容 ...
分类：
其他好文 时间：
2020-03-05 13:19:59
阅读次数：
76
1、BeautifulSoup4库也是一个HTML/XML解析器，主要也是提取数据。lxml只会局部遍历，BeautifulSoup是基于HTML DOM的，会载入整个文档，建立一个树状结构，在解析HTML时比较简单。 from bs4 import BeautifulSoup html=" 一段代 ...
分类：
编程语言 时间：
2020-03-04 23:37:55
阅读次数：
129
电影天堂里面的 要爬取这个页面里所有的电影信息，每个电影信息都在另一个html里，先在这里页面里把这些电影的url爬取出来 # 电影天堂爬虫 from lxml import etree import requests # 一个网址头 BASE_DOMAIN="https://www.dytt8.n ...
分类：
编程语言 时间：
2020-03-02 01:16:51
阅读次数：
113
