这篇文章写的是基于python3爬虫，圆君刚接触一天python所写的小Demo。 进群：125240963 即可获取数十套PDF哦！ 效果图 前期准备 python3.x (requests，BeautifulSoup，lxml) import <ul class="f-hide"><li><a ...
分类：
编程语言 时间：
2018-08-02 22:46:26
阅读次数：
1063
from urllib.request import urlopenfrom bs4 import BeautifulSouphtml=urlopen("http://www.pythonscraping.com/pages/page1.html")bsobj=BeautifulSoup(html. ...
分类：
其他好文 时间：
2018-08-02 11:21:58
阅读次数：
110
1. pritty print xml BeautifulSoup 2. python ...
分类：
其他好文 时间：
2018-07-30 01:07:22
阅读次数：
154
#coding:utf-8from bs4 import BeautifulSoupimport requestsimport urllib3 #禁用安全请求警告urllib3.disable_warnings()r=requests.get("https://www.cnblogs.com/xia ...
分类：
其他好文 时间：
2018-07-29 18:50:33
阅读次数：
140
想学爬虫主要是因为算法和数据是密切相关的，有数据之后可以玩更多有意思的事情，数据量大可以挖掘挖掘到更多的信息。 之前只会通过python中的request库来下载网页内容，再用BeautifulSoup、re正则工具来解析；后来了解到Scrapy爬虫框架，现在入门先写个小小的爬虫项目，这里做个简单的 ...
分类：
其他好文 时间：
2018-07-26 19:56:15
阅读次数：
158
用到了requests、BeautifulSoup、urllib等，具体代码如下。 在编代码的时候，有一些小细节的处理不够熟练，比如文件的读写。下面再搞一搞。 爬虫爬取了前30个页面保存到本地文件中，其实可以考虑用多线程，线程池的方法去分别爬取每一个主页面，这样可能效率会更高一些。至于多线程的部分， ...
分类：
编程语言 时间：
2018-07-21 16:55:19
阅读次数：
128
第一次写一个算是比较完整的爬虫，自我感觉极差啊，代码low，效率差，也没有保存到本地文件或者数据库，强行使用了一波多线程导致数据顺序发生了变化。。。 贴在这里，引以为戒吧。 没有考虑实际生产中突发的状况，比如网速延迟卡顿等问题。 速度是真慢，有时间会分享给大家 selenium + 浏览器 的爬取巨 ...
分类：
编程语言 时间：
2018-07-19 00:14:09
阅读次数：
380
import requests from bs4 import BeautifulSoup as bs import html5lib header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (... ...
分类：
编程语言 时间：
2018-07-16 23:07:47
阅读次数：
277
最近晚上学习爬虫，首先从基本的开始； python3 将urllib,urllib2集成到urllib中了, urllib可以对指定的网页进行请求下载， beautifulsoup 可以从杂乱的html代码中 分离出我们需要的部分； 注： beautifulsoup 是一种可以从html 或XML文 ...
分类：
编程语言 时间：
2018-07-16 22:16:50
阅读次数：
177
