在爬取这个网站之前，试过爬取其他网站的漫画，但是发现有很多反爬虫的限制，有的图片后面加了动态参数，每秒都会更新，所以前一秒爬取的图片链接到一下秒就会失效了，还有的是图片地址不变，但是访问次数频繁的话会返回403，终于找到一个没有限制的漫画网站，演示一下selenium..
分类：
编程语言 时间：
2017-07-12 23:17:31
阅读次数：
979
废话不多说，直接说重点： 刚开始做的时候，代理IP，头部信息池，都已经做好了，使用selenium+phantomjs获取js动态加载后的源码 起初挺好的，能出来动态加载后的源码，但是运行了几次之后，电脑有点卡顿（估计是运存太小），源码就获取不到了，返回的数据 都是空数据，以至于都是出错 在做的时候 ...
分类：
编程语言 时间：
2017-07-04 20:03:58
阅读次数：
609
前面我通过一篇文章讲述了如何爬取CSDN的博客摘要等信息。通常，在使用Selenium爬虫爬取数据后，需要存储在TXT文本中，但是这是很难进行数据处理和数据分析的。这篇文章主要讲述通过Selenium...
分类：
数据库 时间：
2017-03-13 16:34:33
阅读次数：
382
本文主要是采用Selenium来爬取CSDN的博文摘要，为后面对CSDN的热点技术、近几年专家发表的博客作数据分析。由于采用BeautifulSoup爬取该网站会报错"HTTPError: Forbi...
分类：
编程语言 时间：
2017-02-22 18:29:10
阅读次数：
1756
selenium本来是用来做自动测试，但是因为可以模拟浏览器操作，所以也可以用来做爬虫（尤其是一些比较变态登陆网站，又不会模拟登陆的），只是速度会比较慢。 转载请注明出处：http://www.cnblogs.com/SSSR/p/6390229.html 经验总结： 1、火狐浏览器在运行较长时间后 ...
分类：
其他好文 时间：
2017-02-12 19:58:12
阅读次数：
6869
因为我的博客是根据我每个阶段自己做的事情而写的，所以前言可能有点跑题，但它更有利于让我回忆这个阶段自己的所作所为。这篇文章主要介绍Selenium爬虫获取当前窗口句柄、切换窗口句柄以及调用Chrome...
分类：
编程语言 时间：
2016-11-21 08:57:24
阅读次数：
1183
现阶段网络爬虫的工具主要是有scrapy、selenium（第二版）等。总的来说各有好处，scrapy最大
的好处是爬取的速度快而selenium的好处是能爬去的网站种类多。详细点的解释是：scrapy在爬取网页时不
用点击开页面(selenium似乎需要页面全部加载完才可以查找定位)，selenium可以爬..
分类：
其他好文 时间：
2016-10-17 23:41:30
阅读次数：
150
这篇文章主要Selenium+Python自动测试或爬虫中的常见定位方法、鼠标操作、键盘操作介绍，希望该篇基础性文章对你有所帮助，如果有错误或不足之处，请海涵~
一.定位元素方法 二.操作元素方法 四....
分类：
编程语言 时间：
2016-07-10 14:06:41
阅读次数：
202
这篇文章主要讲述了使用python+selenium爬取新浪微博的热点话题和评论信息。其中使用该爬虫的缺点是效率极低，傻瓜式的爬虫，不能并行执行等，但是它的优点是采用分析DOM树结构分析网页源码并进行信息爬取，同时它可以通过浏览器进行爬取中间过程的演示及验证码的输入。这篇文章对爬虫的详细过程就不再论述了，主要是提供可运行的代码和运行截图即可。希望文章对你有所帮助吧~...
分类：
移动开发 时间：
2016-05-06 09:31:23
阅读次数：
1034
