requests是python实现的简单易用的HTTP库，使用起来比urllib简洁很多 因为是第三方库，所以使用前需要cmd安装 找到python安装路径中的Scripts的路径 C:\Users\Administrator\AppData\Local\Programs\Python\Python ...
分类：
编程语言 时间：
2020-05-24 16:57:29
阅读次数：
65
对于我们来说，网络IP软件并不陌生，因为我们每天都使用网络，无论是工作还是生活，互联网的魔力使我们已经无法完全离开它。平常我们的工作可能也要用到各种类型的换IP软件。 代理IP的用途有哪些？ 1、爬虫采集 Python爬虫爬取数据时，很容易被封禁IP，使用换IP软件之后可以让爬虫伪装，隐藏自己的真实 ...
分类：
其他好文 时间：
2020-05-23 16:32:38
阅读次数：
121
1.爬虫和关系数据库的交互次数能减少就减少。 之前由于爬虫出了bug，导致错误日志持续膨胀耗尽服务器空间，导致MySQL数据库无法添加数据，于是乎想把爬虫中间过程的所有数据(图片url等待队列)放进数据库。爬虫的爬取速度明显下降，并且数据库操作过程出错(经常发生事务锁定时间过长强退这种情况)。之前也 ...
分类：
数据库 时间：
2020-05-23 13:30:21
阅读次数：
105
1、请求headers处理 我们有时请求服务器时，无论get或post请求，会出现403错误，这是因为服务器拒绝了你的访问，这时我们可以通过模拟浏览器的头部信息进行访问，这样就可以解决反爬设置的问题。 import requests # 创建需要爬取网页的地址 url = 'https://www. ...
分类：
编程语言 时间：
2020-05-21 00:33:50
阅读次数：
75
jpcap 抓取数据包 opencv2 人脸采集识别 第一步：把Jpcap.dll 和 opencv_java341.dll 放在jdk安装目录下的bin文件夹下 第二步：把项目导入idea 第三步：重新导入jpcap.jar 包 和 opencv-341.jar 包 第四步：安装winpcap 第 ...
分类：
其他好文 时间：
2020-05-20 14:05:28
阅读次数：
64
from bs4 import BeautifulSoupimport requestsimport pandas as pdheader = {'Referer': 'https://movie.douban.com/subject/33420285/comments?status=P','Use ...
分类：
编程语言 时间：
2020-05-19 22:41:42
阅读次数：
115
利用Python爬虫爬取目标小说并保存到本地 小说地址：http://book.zongheng.com/showchapter/749819.html（目录地址） 通过小说目录获取小说所有章节对应的url地址，然后逐个访问解析得到每一章节小说的内容，最后保存到本地文件内 文章中的代码只是第一个版本 ...
分类：
编程语言 时间：
2020-05-19 12:46:19
阅读次数：
62
1.网络数据采集的一个常用功能就是获取 HTML 表格并写入 CSV 文件。维基百科的文本编 辑器对比词条（https://en.wikipedia.org/wiki/Comparison_of_text_editors）中用了许多复杂 的 HTML 表格，用到了颜色、链接、排序，以及其他在写入 C ...
分类：
编程语言 时间：
2020-05-19 01:13:44
阅读次数：
77
在调试爬虫的时候，新手都会遇到关于ip的错误，好好的程序突然报错了，怎么解决，关于ip访问的错误其实很好解决，但是怎么知道解决好了呢？怎么确定是代理ip的问题呢？由于笔者主修语言是Java，所以有些解释可能和Python大佬们的解释不一样，因为我是从Java 的角度看Python。这样也便于Java ...
分类：
编程语言 时间：
2020-05-18 14:26:20
阅读次数：
81
Scrapy简介 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。另外要注意：光理论是不够的。这里顺便送大家一套2020最新python入 ...
分类：
编程语言 时间：
2020-05-16 12:29:10
阅读次数：
128
