# 1.在安装scrapy前需要安装好相应的依赖库, 再安装scrapy, 具体安装步骤如下: (1).安装lxml库: pip install lxml (2).安装wheel: pip install wheel (3).安装twisted: pip install twisted文件路径 (t ...
分类：
其他好文 时间：
2020-03-24 10:33:46
阅读次数：
62
import requests from lxml import etree url="https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6" header={'User-Agent':'Mozilla/5.0 (Windows N ...
分类：
其他好文 时间：
2020-03-21 23:28:23
阅读次数：
126
import requests from lxml import etree url="https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6" header={'User-Agent':'Mozilla/5.0 (Windows N ...
分类：
其他好文 时间：
2020-03-21 18:10:42
阅读次数：
177
import requests from lxml import etree url="https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6" header={'User-Agent':'Mozilla/5.0 (Windows N ...
分类：
其他好文 时间：
2020-03-21 18:07:45
阅读次数：
59
1 from lxml import etree 2 3 r = ''' 4 <div class="tabsConItem syllabus"> 5 <ul id="syList"> 6 <li class="item lesson" > 7 <div class="main"><a href=" ...
分类：
Web程序 时间：
2020-03-16 21:46:44
阅读次数：
146
1、requests库 http协议中，最常用的就是GET方法： import requests response = requests.get('http://www.baidu.com') print(response.status_code) # 打印状态码 print(response.ur ...
分类：
编程语言 时间：
2020-03-16 12:40:00
阅读次数：
117
```"""https://www.biqukan.com"""import requestsimport requests.adaptersimport redisfrom lxml import etreefrom pyquery import PyQuery as pqimport pymon... ...
分类：
编程语言 时间：
2020-03-16 09:31:09
阅读次数：
54
import requests from bs4 import BeautifulSoup import bs4 import pandas as pd url = 'http://top.baidu.com/buzz?b=341&c=513&fr=topbuzz_b1' headers = {'U ...
分类：
其他好文 时间：
2020-03-14 16:26:27
阅读次数：
71
import json import requests from lxml import etree from time import sleep url = "https://www.jianshu.com/shakespeare/notes/60479187/comments?page=1&co ...
分类：
编程语言 时间：
2020-03-14 13:14:06
阅读次数：
97
from time import sleep import faker import requests from lxml import etree fake = faker.Faker() base_url = "http://angelimg.spbeen.com" def get_next_l ...
分类：
编程语言 时间：
2020-03-13 13:22:52
阅读次数：
75
