1.8 爬虫框架的安装 我们直接用 requests、Selenium 等库写爬虫，如果爬取量不是太大，速度要求不高，是完全可以满足需求的。但是写多了会发现其内部许多代码和组件是可以复用的，如果我们把这些组件抽离出来，将各个功能模块化，就慢慢会形成一个框架雏形，久而久之，爬虫框架就诞生了。 利用框架 ...
分类：
其他好文 时间：
2020-07-17 13:50:09
阅读次数：
57
2.5 代理的基本原理 我们在做爬虫的过程中经常会遇到这样的情况，最初爬虫正常运行，正常抓取数据，一切看起来都是那么美好，然而一杯茶的功夫可能就会出现错误，比如 403 Forbidden，这时候打开网页一看，可能会看到 “您的 IP 访问频率太高” 这样的提示。出现这种现象的原因是网站采取了一些反 ...
分类：
其他好文 时间：
2020-07-17 13:47:43
阅读次数：
53
第十五章 分布式爬虫的部署 在前一章我们成功实现了分布式爬虫，但是在这个过程中我们发现有很多不方便的地方。 在将 Scrapy 项目放到各台主机运行时，你可能采用的是文件上传或者 Git 同步的方式，但这样需要各台主机都进行操作，如果有 100 台、1000 台主机，那工作量可想而知。 本章我们就来 ...
分类：
其他好文 时间：
2020-07-17 13:41:00
阅读次数：
59
html5的新特性 1.语义化标签 有利于seo，有助于爬虫抓取更多的有效信息，爬虫是依赖于标签来确定上下文和各个关键字的权重。 语义化的html在没有css的情况下也能呈现较好的内容结构与代码结构 方便其他设备的解析 便于团队开发和维护 2.表单新特性 3.多媒体视频(video)和音频(audi ...
分类：
Web程序 时间：
2020-07-17 09:32:12
阅读次数：
101
b站近日把登录页面的验证方式从滑块验证改为了汉字验证，我看网上也没用相关的爬虫教程，所以自己写了一个，作为b站爬虫参考。 from selenium import webdriver from selenium.webdriver.common.action_chains import Action ...
分类：
其他好文 时间：
2020-07-16 21:20:22
阅读次数：
109
借鉴Kr1s77大佬的爬虫资料，GitHbub链接：https://github.com/Kr1s77/awesome-python-login-model 整理一下，给自己学习爬虫使用 001.百度贴吧 # 是告诉操作系统执行这个脚本的时候，调用/usr/bin下的python3解释器； # !/ ...
分类：
其他好文 时间：
2020-07-16 18:25:37
阅读次数：
139
【一、项目背景】随着移动互联网的发展，英语学习系统能结构化的组织海量资料。针对用户个性需求，有的放矢地呈现给用户，从而为英语学习者提供便利，提升他们的学习效率。【二、项目目标】1.实现美观的界面，添加需要的组件。2.能够基本实现改变字体，颜色，背景，页面切换功能。3.java读取txt文件，简化代码。【三、项目实施】使用eclipse软件开发，先上效果图，如下图所示。可以看到在界面上有可以改变字体
分类：
编程语言 时间：
2020-07-16 12:13:49
阅读次数：
82
Python爬虫下载视频 前言 这两天我一时兴起想学习 PS ，于是去我的软件宝库中翻出陈年已久的 PhotoshopCS6 安装，结果发现很真流畅诶！ 然后去搜索学习视频，网上的视频大多浮躁，收费，突然想到了我入门编程时学习的网站， 我要自学网 ，寻找当时非常喜欢的易语言编程视频，很可惜，没有了。 ...
分类：
编程语言 时间：
2020-07-15 01:11:50
阅读次数：
87
网页结构的相似性 爬虫的目的，是从网站中 自动化 的 批量 提取数据。 首先尝试完成以下操作: 从以下链接中提取电影的标题和标题后的年份: https://movie.douban.com/subject/1292052/ https://movie.douban.com/subject/19626 ...
分类：
编程语言 时间：
2020-07-14 16:37:03
阅读次数：
58
我们一直使用 print 方法打印爬虫获取的数据，接下来你将把这些数据保存到特定格式文件中。 CSV 格式 Python 提供了标准库 csv 来读写 csv 数据。 新建一个 Python 文件，输入以下代码，并运行。 import csv file = open('movies.csv', 'w ...
分类：
编程语言 时间：
2020-07-14 16:31:21
阅读次数：
82
