当你在爬取某些网站的时候 对于你的一些频繁请求 对方会阻碍你 常见的方式就是使用验证码 验证码的主要功能 就是区分你是人还是鬼（机器人） 人 想法设法的搞一些手段来对付技术 而 技术又能对付人们的想法 一来一去 就有了各种各样的变态验证码 也有了各种各样的应对方式 常见的验证码有这么几种 图像验证 ...
分类：
编程语言 时间：
2019-05-08 15:54:07
阅读次数：
232
. monkey日志管理 adb shell monkey –v –v 100 >d:\monkeylog.log保存到本地要保存在手机的话，首先需要进入adb shell然后在运行monkey +目标路径（通常在sdcard下保存）错误流和标准流日志文件分开保存：adb shell monkey ...
分类：
其他好文 时间：
2019-05-08 10:58:42
阅读次数：
128
因为本人对爬虫比较感兴趣，加上之前也写过一些简单的python爬虫，所以在学完java基础后写了一个简单的网络图片爬虫。废话不多说直接上过程代码。（爬取的图源来自花瓣网：https://huaban.com/boards/favorite/beauty/） 源url页面分析 拿到爬取的源url，首先 ...
分类：
编程语言 时间：
2019-05-07 16:51:36
阅读次数：
381
通过 python爬虫入门：什么是爬虫，怎么玩爬虫？ 我们知道了什么是爬虫 也知道了爬虫的具体流程 那么在我们要对某个网站进行爬取的时候 要对其数据进行分析 就要知道应该怎么请求 就要知道获取的数据是什么样的 所以我们要学会怎么抓咪咪！ 哦，不对。 我们要学会怎么数据抓包 虽然小馒头也是包的一种 o ...
分类：
编程语言 时间：
2019-05-07 01:03:39
阅读次数：
187
All IT eBooks多线程爬取-写在前面 对一个爬虫爱好者来说，或多或少都有这么一点点的收集癖 ~ 发现好的图片，发现好的书籍，发现各种能存放在电脑上的东西，都喜欢把它批量的爬取下来。 然后放着，是的，就这么放着.......然后慢慢的遗忘掉..... All IT eBooks多线程爬取-爬 ...
分类：
编程语言 时间：
2019-05-06 21:58:33
阅读次数：
162
[TOC] Python网络爬虫之Scrapy框架（CrawlSpider） 提问：如果想要通过爬虫程序去爬取”糗百“全站数据新闻数据的话，有几种实现方法？ 方法一：基于Scrapy框架中的Spider的递归爬取进行实现（Request模块递归回调parse方法）。 方法二：基于CrawlSpide ...
分类：
编程语言 时间：
2019-05-04 18:59:09
阅读次数：
195
1. 蜂鸟网图片--简介 国庆假日结束了，新的工作又开始了，今天我们继续爬取一个网站，这个网站为 http://image.fengniao.com/ ，蜂鸟一个摄影大牛聚集的地方，本教程请用来学习，不要用于商业目的，不出意外，蜂鸟是有版权保护的网站。 2. 蜂鸟网图片--网站分析 第一步，分析要爬 ...
分类：
编程语言 时间：
2019-05-04 16:15:36
阅读次数：
162
Bug：程序编写有问题造成的错误，称之为Bug. debug：调试 注意：bug是程序本身有问题、有缺陷、系统漏洞 异常：完全无法在程序运行中预测的错误，例如写入文件的时候，磁盘满了，写不进去了，或者从网络抓取数据时，网络突然断掉了 try ……except……finally…… 某些代码可能会出错 ...
分类：
编程语言 时间：
2019-05-03 13:05:21
阅读次数：
203
1.1 python3安装 配置环境变量；随后点击“新建”，新建一个条目，将刚才复制的C:\Python36复制进去。这里需要说明的是，此处的路径就是你的Python 3安装目录，请自行替换。然后，再把C:\Python36\Scripts路径复制进去 添加别名 上面这两种安装方式任选其一即可完成安 ...
分类：
编程语言 时间：
2019-05-01 23:52:28
阅读次数：
151
1.学习Python爬虫至结束。 (未完成) 2.泡图书馆七次以上。(未完成) 3.在显示屏到后不浪费每一天。(未完成) 4.在活动出来时十天内积分达到600分。(活动未开始) 5.学会与人沟通，不浪费时间在无用社交。(完成部分) 6.规范化管理自己的硬盘 (完成) 7.看书不需要太快，需要仔细。( ...
分类：
其他好文 时间：
2019-05-01 13:38:03
阅读次数：
146
