网络爬虫 通用爬虫技术框架 爬虫系统首先从互联网页面中精心选择一部分网页，以这些网页的链接地址作为种子URL，将这些种子放入待爬取URL队列中，爬虫从待爬取URL队列依次读取，并将URL通过DNS解析，把链接地址转换为网站服务器对应的IP地址。然后将其和网页相对路径名交给网页下载器，网页下载器负责页... ...
分类：
其他好文 时间：
2019-10-19 00:27:17
阅读次数：
122
1.首先要下载mysql： 使用上面的命令下载安装用的yum（相当于下载器），接下来就是要安装mysql 再就是安装mysql服务器了 这个可能要很多时间，需要耐心等待，我当初安装的时候光着一步就花了2个小时 2.mysql服务器的配置 启动mysql： 查看运行状态 此时mysql已经可以正常运行 ...
分类：
数据库 时间：
2019-10-17 11:44:42
阅读次数：
92
一丶scrapy的图片数据爬取（流数据的爬取） ? scrapy中封装好了一个管道类（ImagesPipeline），基于该管道类可以实现图片资源的请求和持久化存储 编码流程： 爬虫文件中解析出图片的地址 将图片地址封装到item中且提交给管道 管道文件中自定义一个管道类（父类：ImagesPipe ...
分类：
编程语言 时间：
2019-10-16 00:16:43
阅读次数：
187
爬虫设计 爬虫基本包含 爬虫调度器，URL管理器（已爬与待爬），HTML下载器（获取网络信息），HTML解析器，数据存储器五个部分。 0x1 网站调研 了解网站基本特点，设计相应的爬取方案 探测反爬措施，设计对应反反爬方式 查看网站的robot.txt与sitemap，了解网站限制内容 : 指定对哪 ...
分类：
其他好文 时间：
2019-10-12 22:35:11
阅读次数：
98
原使用教程：https://www.haorenka.org/idm.html 使用idm下载器后实际下载速度，比原网盘客户端快很多 相关软件下载 参考上面的参考教程，这里只提供对应所需要的文件，有的需要fq 1. chrome Tampermonkey插件地址：https://chrome.goo ...
分类：
其他好文 时间：
2019-10-10 15:58:31
阅读次数：
167
从添加或删除软件管理程序里安装 aria2。 在一个地方创建一个文本文件，名为 「aria2.conf」 ： 打开终端，输入启动命令： 输入配置文件命令 注意 path后面的你要改为自己创建conf的文件路径： 接下来请使用浏览器访问 在导航栏的设置——》连接设置——》对应我们创建的conf进行设置 ...
分类：
编程语言 时间：
2019-10-05 12:41:02
阅读次数：
115
Python分布式爬虫必学框架Scrapy打造搜索引擎 未来是什么时代？是数据时代！数据分析服务、互联网金融，数据建模、自然语言处理、医疗病例分析……越来越多的工作会基于数据来做，而爬虫正是快速获取数据最重要的方式，相比其它语言，Python爬虫更简单、高效 具体的学习scrapy之前，我们先对sc ...
分类：
编程语言 时间：
2019-09-30 21:34:16
阅读次数：
120
yum出现Error downloading packages错误错误表现方式：yum可以list，可以clean cache，但是无法安装，错误提示： Downloading packages: Error downloading packages: libevent-devel-2.0.21-4 ...
分类：
其他好文 时间：
2019-09-24 13:40:07
阅读次数：
157
IAP即在线应用编程，平时我们写好的程序都是通过下载器去下载的，但是对于组装好的产品在想更新底层硬件代码是很麻烦的事情，如果在公司情况还没那么糟糕，要是发出去的产品出现bug，你不可能要用户给你下载程序的。IAP这种技术，我们就可以像软件一样，可以实现远程更新了。我们需要做的就是，写FLASH读写接 ...
分类：
其他好文 时间：
2019-09-21 19:25:09
阅读次数：
110
这里向大家分享一下python爬虫的一些应用，主要是用爬虫配合简单的GUI界面实现视频，音乐和小说的下载器。今天就先介绍如何实现一个动态视频下载器。 爬取电影天堂视频 首先介绍的是python爬取电影天堂网站的视频(包括电影，电视剧，综艺等)，主要是用selenium动态网页技术加上简单的爬虫技术。 ...
分类：
编程语言 时间：
2019-09-16 09:49:55
阅读次数：
102
