爬虫是一个比较容易上手的技术，也许花5分钟看一篇文档就能爬取单个网页上的数据。但对于大规模爬虫，完全就是另一回事，并不是1*n这么简单，还会衍生出许多别的问题。 系统的大规模爬虫流程如图所示。 先检查是否有API API是网站官方提供的数据接口，如果通过调用API采集数据，则相当于在网站允许的范围内 ...
分类：
其他好文 时间：
2018-07-05 21:36:20
阅读次数：
164
一.Nginx配置文件nginx配置文件：/etc/nginx/nginx.conf/etc/nginx/conf.d//etc/nginx/default.d/配置文件结构nginx配置文件的结构：main(全局配置段)events{...}http{...server{location...{...}location...{...}...}server{...}}2、配置参数需要以分号结尾，语
分类：
系统相关 时间：
2018-07-04 10:36:49
阅读次数：
182
编写一个Mixin类 类视图继承之 关于Mixin类 Mixin：在设计类的继承关系时，通常，主线都是单一继承下来的，如果需要"组合"额外的功能，通过多重继承就可以实现，这种设计通常称之为Mixin（混合）。 Mixin类一般以Mixin为后缀，使用Mixin类实现多重继承需要注意： 1）首先，它必 ...
分类：
其他好文 时间：
2018-06-30 18:47:38
阅读次数：
228
验证码自动识别 在很多WEB网站登录的时候，都需要输入验证码，Python提供了一些库（例如常用的OCR库）来识别和使用在线图片中的文字。 将图像翻译成文字一般被称为光学文字识别(Optical Character Recognition, OCR)。可以实现OCR的底层库并不多,目前很多库都是使用 ...
分类：
Web程序 时间：
2018-06-24 11:32:05
阅读次数：
311
如果使用了代理网络，因为npm无法自动识别Internet代理，则需要手动设置npm代理才能下载包。设置命令：npm -g config set proxy "http://<server>:<port>/" npm -g config set https-proxy "https://<serve ...
分类：
其他好文 时间：
2018-06-19 13:35:54
阅读次数：
175
编程爱好者学python之快速入门（淘宝课程） Python的安装： 1.进入Python官方网站下载安装包 点击导航栏的 Downloads 会自动识别你的windows系统 你会看到 Python3.6.2 和 Python2.7.13 （32位系统）的安装包 注：Python3以后版本不再向P ...
分类：
编程语言 时间：
2018-06-15 11:01:25
阅读次数：
253
我司提供行人检测/人体检测/人体抓拍海思解决方案，同时还有ARM行人检测摄像机方案。 人体检测自动识别摄像机基于视频图像智能分析技术原理研制，采用公司自主研发的人体轮廓识别技术，综合识别人体头部、肩部、躯干等人体主要部位的轮廓信息，可区分人与物体，具有较高的识别精度。本技术综合识别头部、肩部、躯干等 ...
分类：
其他好文 时间：
2018-06-14 14:44:18
阅读次数：
937
（1）、前言 原理分析：我们编写代码模拟向网站发出登录请求，也就是提交包含登录信息的表单（用户名、密码等）。 实现方式：当我们想在请求数据时发送post请求，这时候需要借助Request的子类FormRequest来实现，如果想进一步在爬虫一开始时就发送post请求，那么我们需要重写start_re ...
分类：
其他好文 时间：
2018-06-14 01:07:33
阅读次数：
333
window安装 Python的安装： 1.进入Python官方网站下载安装包 点击导航栏的 Downloads 会自动识别你的windows系统 你会看到 Python3.6.2 和 Python2.7.13 （32位系统）的安装包 注：Python3以后版本不再向Python2进行兼容，所有如果 ...
分类：
编程语言 时间：
2018-06-13 19:41:22
阅读次数：
180
检查系统是否支持USB转串口： 如果有usbserial，说明系统支持USB转串口。 识别串口设备： 插上USB转串口，在终端输入命令： 如果出现连接成功信息，则说明ubuntu系统已经识别该设备了。注意：虚拟机环境下的ubuntu默认情况下是不能自动识别的，需要在虚拟机窗口右下角点击设置： 安装m ...
分类：
系统相关 时间：
2018-06-09 17:58:07
阅读次数：
254
