一、CrawlSpider 根据官方文档可以了解到, 虽然对于特定的网页来说不一定是最好的选择, 但是 CrwalSpider 是爬取规整的网页时最常用的 spider, 而且有很好的可塑性. 除了继承自 Spider 的属性, 它还拓展了一些其他的属性. 对我来说, 最常用的就是 rules 了. ...
分类：
编程语言 时间：
2019-05-18 20:59:28
阅读次数：
169
如何入门Python爬虫？爬虫原理及过程详解，“入门”是良好的动机，但是可能作用缓慢。如果你手里或者脑子里有一个项目，那么实践起来你会被目标驱动，而不会像学习模块一样慢慢学习。 ...
分类：
编程语言 时间：
2019-05-18 09:16:31
阅读次数：
124
爬虫介绍 一、什么是爬虫？ 爬虫，学名叫网络蜘蛛，主要的功能是模拟人浏览记录网络信息，主要由三方面组成：抓取页面、分析页面和存储数据。 二、为什么常见的是Python爬虫？ 其实任何语言都可以编写爬虫，但是Python有许多强大的功能库可以供我们使用，而且在数据处理方面，Python有众多方便的库可 ...
分类：
编程语言 时间：
2019-05-16 09:31:46
阅读次数：
134
爬虫爬视频 爬取步骤 第一步：获取视频所在的网页 第二步：F12中找到视频真正所在的链接 第三步：获取链接并转换成机械语言 第四部：保存 代码 ...
分类：
编程语言 时间：
2019-05-13 15:54:40
阅读次数：
268
目标网站:静听网 网站url:http://www.audio699.com/ 目标文件:所有在线听的音频文件 附:我有个喜好就是晚上睡觉听有声书，然而很多软件都是付费才能听，免费在线网站虽然能听，但是禁ip很严重，就拿静听网来说，你听一个在线音频，不能一个没听完就点击下一集，甚至不能快进太快，否则 ...
分类：
编程语言 时间：
2019-05-13 12:29:45
阅读次数：
157
字符串是我们在编程的时候很常用的一种数据类型，检查会在字符串里面查找一些内容，对于比较简单的查找，字符串里面就有一些内置的方法可以处理，对于比较复杂的字符串查找，或者是有一些内容经常变化的字符串里面查找，那么字符串内置的查找方法已经不好使了，满足不了我们的要求，这个时候就得用正则表达式了，正则表达式 ...
分类：
编程语言 时间：
2019-05-12 01:00:18
阅读次数：
124
发现问题 在爬虫下载过程中，执行一段时间后都会异常终止，下次必须kill掉进程重新运行 ，看能否优化并减少手动操作 错误日志分析 收集了nohup.out文件，发现主要错误是的数组下标越界，推测可能的问题为： 1）网络不稳定，http请求不通。 2）网络请求成功，但是html表单解析失败。 3）登录 ...
分类：
编程语言 时间：
2019-05-11 23:23:41
阅读次数：
291
接下来就是 学习python的正确姿势 做爬虫 绕不开模拟登录 为此小帅b给大家支了几招 python爬虫19 | 遇到需要的登录的网站怎么办？用这3招轻松搞定！ 有些网站的登录很弱鸡 传个用户名和密码 来个 POST 请求就搞定了 但还是少数 大多网站还是需要验证码的 登录需要验证码 频繁请求需要 ...
分类：
编程语言 时间：
2019-05-08 16:02:51
阅读次数：
183
你好 由于你是游客 无法查看本文 请你登录再进 谢谢合作 当你在爬某些网站的时候 需要你登录才可以获取数据 咋整？ 莫慌 小帅b把这几招传授给你 让你以后从容应对 那么 接下来就是 学习 python 的正确姿势 登录的常见方法无非是这两种 1、让你输入帐号和密码登录 2、让你输入帐号密码+验证码登 ...
分类：
编程语言 时间：
2019-05-08 15:58:44
阅读次数：
191
今天 要来说说滑动验证码了 大家应该都很熟悉 点击滑块然后移动到图片缺口进行验证 现在越来越多的网站使用这样的验证方式 为的是增加验证码识别的难度 那么 对于这种验证码 应该怎么破呢 接下来就是 学习 python 的正确姿势 打开 b 站的登录页面 https://passport.bilibil ...
分类：
编程语言 时间：
2019-05-08 15:55:09
阅读次数：
270
