urlib库 urllib库是Python中一个最基本的网络请求库。可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数据。 urlopen函数： 在Python3的urllib库中，所有和网络请求相关的方法，被集到url1ib.request横块下面了，以先来看下orlope ...
分类：
Web程序 时间：
2018-09-26 22:13:25
阅读次数：
200
一、requests基于cookie操作 引言：有些时候，我们在使用爬虫程序去爬取一些用户相关信息的数据（爬取张三“人人网”个人主页数据）时，如果使用之前requests模块常规操作时，往往达不到我们想要的目的，因为没有携带登录的cookie，所以爬去下来的并不是个人主页数据，而是人人网首页的数据， ...
分类：
编程语言 时间：
2018-09-26 20:45:05
阅读次数：
226
一．爬虫 1．概念：通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。 2．哪些语言可以实现爬虫： （1）Php：对多线程和多进程支持的不好 （2）Java：代码臃肿，重构成本较大 （3）C/c++：是一个非常不明智的选择，是一个很好装13的选择 （4）Python：没有！！！代码优雅 ...
分类：
其他好文 时间：
2018-09-26 00:08:56
阅读次数：
196
1.设置Headers 有些网站不会同意程序直接用上面的方式进行访问，如果识别有问题，那么站点根本不会响应，所以为了完全模拟浏览器的工作，我们需要设置一些Headers 的属性。 首先，打开我们的浏览器，调试浏览器F12，我用的是Chrome，打开网络监听，示意如下，比如知乎，点登录之后，我们会发现 ...
分类：
Web程序 时间：
2018-09-22 12:32:19
阅读次数：
212
最近女同让我帮助从百度云下载200个文件，给了我连接和提取码，这种重复的工作不适合人做写了一个简单的爬虫 我把连接存在 baidulink.txt中，文件是逐行读取，提取出连接和提取码 使用selenium模拟浏览器，必须保证你的浏览器是Google Chrome，并装了chromedriver，相 ...
分类：
编程语言 时间：
2018-09-20 21:53:02
阅读次数：
2023
目前，很多网站为了防止爬虫肆意模拟浏览器登录，采用增加验证码的方式来拦截爬虫。验证码的形式有多种，最常见的就是图片验证码。其他验证码的形式有音频验证码，滑动验证码等。图片验证码越来越高级，识别难度也大幅提高，就算人为输入也经常会输错。本文主要讲解识别弱图片验证码。 1 图片验证码强度 图片验证码主要 ...
分类：
编程语言 时间：
2018-09-05 23:47:46
阅读次数：
273
模拟浏览器，访问互联网资源，根据所写的规则，下载所需的音乐数据！ 源代码查看：在更多工具里的开发者工具（shift+ctrl+I 或f12) 在谷歌浏览器中登入千千音乐 http://music.taihe.com 在pycharm写代码 在Terminal中输入pip install reques ...
分类：
编程语言 时间：
2018-08-16 00:47:36
阅读次数：
138
常见的反爬手段和解决思路 常见的反爬手段和解决思路 目标 了解常用的反爬手段和解决思路 1. 明确反反爬的主要思路 反反爬的主要思路就是：尽可能的去模拟浏览器，浏览器在如何操作，代码中就如何去实现。浏览器先请求了地址url1，保留了cookie在本地，之后请求地址url2，带上了之前的cookie， ...
分类：
其他好文 时间：
2018-08-13 22:09:18
阅读次数：
388
上回写到一半临时有事，竟然没有保存到！！！。这几天也是因为家人过来玩。。我也不知道写到哪儿了。我发现狗东这个奸贼很多数据是请求请求再请求，然后才拿到我们看到的数据显示上去的。我尝试了一下找齐这个数据确实有点头疼（我有查到可以用一个东西模拟浏览器去得到我们最终的页面，但是本着练习为主的思想，先不搞这么 ...
分类：
编程语言 时间：
2018-08-13 20:51:48
阅读次数：
225
python爬虫 一.爬虫 WHAT 通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片/视频）爬到本地，进而提取自己所需的数据，存放起来使用。 二.爬虫 WAY 获取网络数据的方式： ①.浏览器提交请求→下载网页代码→解析成网页 ②.模拟浏览器发送请求（获取 ...
分类：
编程语言 时间：
2018-08-11 18:56:31
阅读次数：
168
