什么是scrapy？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，简单的理解它既是一个强大的爬虫框架 为什么要用这个框架？ 因为它的功能强大： - 应用twisted，下载页面，实现并发效果 - HTML解析对象，自带lxml - 可以设置代理 - 可以设置延迟下载 - 可以 ...
分类：
编程语言 时间：
2018-07-13 01:12:11
阅读次数：
293
import requestsfrom lxml import etreeimport reimport pymysqlimport time conn = pymysql.connect(host='localhost',user='root',passwd='123456',db='mydb', ...
分类：
数据库 时间：
2018-07-12 10:33:43
阅读次数：
306
import requestsfrom lxml import etreeimport reimport pymongoimport time client = pymongo.MongoClient('localhost',27017)mydb = client['mydb']musictop = ...
分类：
数据库 时间：
2018-07-12 10:31:20
阅读次数：
235
soup = BeautifulSoup(html_doc,features='lxml')tag1 = soup.find(name='a') #找到第一个a标签，返回一soup对象tag2 = soup.find_all(name='a') #找到所有a标签，返回一列表，列表中所有元素为soup... ...
分类：
其他好文 时间：
2018-07-09 23:42:52
阅读次数：
323
代码：import requestsfrom lxml import etreeimport csvimport jsonfp = open('E:/map.csv','wt',newline='',encoding='utf-8')writer = csv.writer(fp)writer.wri ...
分类：
其他好文 时间：
2018-07-08 22:01:14
阅读次数：
227
``` def getOneMoviesInfo(Mid,url): import requests from lxml import etree #print(url) data = requests.get(url).text #download the website s = etree.HT... ...
分类：
编程语言 时间：
2018-07-07 20:24:06
阅读次数：
163
飞到花上 采集花粉 经过处理 数据清洗 存储编程可用的数据 urlib BeautifulSoup lxml Scrapy PdfMiner Requests Selenium NLTK Pillow unittset PySocks 知名网站的API MySQL数据库 OpenRefine数据分析 ...
分类：
编程语言 时间：
2018-07-06 18:58:43
阅读次数：
306
requests+bs4+lxml直接获取并解析html数据抓包ajax请求，使用requests获取并解析json数据反爬严重的网站，使用selenium爬取设置代理????a.urllib/requests/selenium+chrome/selenium+phantomjs设置代理????b.爬取免费代理网站中的
分类：
编程语言 时间：
2018-07-06 18:31:31
阅读次数：
230
快下班了，正好准备去买彩票，就顺手写了2个脚本，一个用来下载最近的彩票数据，一个用来统计彩票数字，分享给大家！ 彩票数据获取并写入excel表格 数据来源自己看吧~用外链通不过。。。 所用库：xlwt，requests，lxml 有几点需要注意的： 1、构建列表。因为存入excel文件的时候用的是列 ...
分类：
编程语言 时间：
2018-07-06 17:44:19
阅读次数：
138
from lxml import etreeimport requestsimport csvfp = open('E:/doubanbook.csv','wt',newline='',encoding='utf-8')writer = csv.writer(fp)writer.writerow(( ...
分类：
其他好文 时间：
2018-07-03 21:38:43
阅读次数：
266
