CSDN博客的爬取(链接的爬取)糗事百科段子爬取(内容的爬取) 用户代理池构建实战 前面已经学会如何构建用户代理,那么用户代理池如何构建呢?所谓的用户代理池,即将不同的用户代理组建成为一个池子,随后随机调用。 IP代理与IP代理池的构建的两种方案 IP代理概述IP代理是指让爬虫使用代理IP去爬取对方 ...
分类:
编程语言 时间:
2021-01-07 11:57:47
阅读次数:
0
Python 是面向对象、解释型的编程语言优点:简洁、易学、几乎全能、支持面向对象 Python能做什么?数据分析与挖掘、黑客逆向编程、网络爬虫、机器学习、开发WEB项目、开发游戏、自动化运维 Python的安装官网下载:https://www.python.org/downloads/window ...
分类:
编程语言 时间:
2021-01-07 11:57:31
阅读次数:
0
NumPy(Numerical Python) 是 Python 语言的一个扩展程序库,支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库。 数据分析三剑客:Numpy,Pandas,Matplotlib 一、创建ndarray 1.使用np.array()创建 一维数组创建 im ...
分类:
其他好文 时间:
2021-01-07 11:53:57
阅读次数:
0
python的一些模块可以用pip来进行安装,相当于linux下的yum命令很方便,模块不需要手动去编译安装 如果不嫌麻烦可以按照下面的步骤进行安装。个人建议干脆装更高的比方 2.7.15 自动就安装了,没必要自己单独安装 2.7.15 pip tool在这个目录下 C:\Python27\Scri ...
暗链和搜索引擎流量劫持在哪里 暗链和搜索引擎流量劫持在哪里 一、加到隐秘的全局「代码」中- 二、加到JavaScript中- 三、利用Web服务器自带的重定向/反向代理功能- 四、利用特殊HTTP响应码对应的自定义页面 这门地下生意的 「要义」 是: 它们的链接多数是非法网站,如赌博、赌场、彩票、地 ...
分类:
其他好文 时间:
2021-01-07 11:48:40
阅读次数:
0
建立测试计划,确定测试标准和测试范围 设计典型场景的测试用例,覆盖常用业务流程和不常用的业务流程等 根据测试用例,开发自动测试脚本和场景: 录制测试脚本:新建一个脚本(Web/HTML协议);点击录制按钮, 在弹出的对话框的URL中输入”about:blank”;在打开的浏览器中进行正常操作流程后, ...
分类:
其他好文 时间:
2021-01-07 11:45:29
阅读次数:
0
a、减少开发,测试时间和努力。 b、使用 JavaConfig 有助于避免使用 XML。 c、避免大量的 Maven 导入和各种版本冲突。 d、通过提供默认值快速开始开发。没有单独的 Web 服务器需要。这意味着你不再需要启动 Tomcat,Glassfish 或其他任何东西。 e、需要更少的配置 ...
分类:
编程语言 时间:
2021-01-07 11:45:13
阅读次数:
0
有用的包资源: 核心 Django : Web 框架。 django-debug-toolbar : 显示面板用于调试 Django HTML 视图。 django-model-utils : 很有用的数据模型工具,包含一个时间戳数据模型。 ipdb : IPython pdb。 Pillow : ...
分类:
其他好文 时间:
2021-01-07 11:42:46
阅读次数:
0
最近在处理excel的时候,想到利用python可以批量操作,常用的包有xlrd,xlwt和openpyxl,三者区别如下: xlrd只能读取数据,可以处理xls和xlsx; xlwt只能写数据,只能处理xls openpyxl可以读数据和写数据,但只能处理xlsx 当收到的文件既有xls,又有xl ...
分类:
编程语言 时间:
2021-01-06 12:47:29
阅读次数:
0
ubuntu18.04基于win10双系统的安装 分区 查看系统BIOS模式 win+R, 输入msinfo32, 得到系统信息,这里我的BIOS模式是传统模式(MBR),所以这里以MBR为例 下载ubuntu系统 链接: https://www.ubuntu.com/download/deskto ...
分类:
编程语言 时间:
2021-01-06 12:46:10
阅读次数:
0