1、规范化URL 将URL转化为标准形式避免语法上的别名 2、广度优先的爬行 3、节流 限制一段时间机器人可以从一个web站点的页面数量 4、限制URL的大小 机器人会拒绝爬行超出特定长度的(通常是1kb）的URL。 5、URL/站点黑名单 维护一个与机器人环路和陷阱想对应的已知站点及URL列表。 ...
分类：
其他好文 时间：
2018-01-17 15:54:32
阅读次数：
148
sys模块 示例：进度条 1 import sys 2 import time 3 4 5 def progress_bar(num, total): 6 rate = float(num) / float(total) 7 rate_num = int(rate * 100) 8 r = '\r% ...
分类：
其他好文 时间：
2018-01-16 00:48:36
阅读次数：
172
一、全网数据备份方案1、需要备份的文件目录有（原则上，只要运维人员写入或更改的数据都需要备份）。/data,/etc/rc.local,/var/spool/cron/root等，根据不同都服务器做不同的调整2、为了规范化，每台服务器进行本地备份时都备份到/backup目录下3、每台WEB服务器进行本地备份时，都备份到/backup目录下以本机IP地址命名的目录中4、打的tar包中需要包含当天的日
分类：
其他好文 时间：
2018-01-15 15:27:56
阅读次数：
158
1、二元运算符（= / ）左右两边必须加空格。 2、逗号后面加空格（如array(1, 2, 3)） ，其实无论是编程还是英文书写，逗号后面都是要加空格的。 代码规范化书写的好处： 一来是为了让阅读代码的人能体会美感，对你的代码增加好感度，即使buggy。 二来是为了增加代码的可阅读性，适当的空格和 ...
分类：
其他好文 时间：
2018-01-14 16:00:11
阅读次数：
93
Python学习笔记一、主要基本内容1.1主要python库（1）Numpy库：主要进行数据处理，对于数组进行元素级运算；线性代数运算，傅立叶变换，随机数的生产；（2）Pandas库：便捷处理结构化数据的大量数据结构和函数；（3）Matplotlib库：绘制数据图表；1.2主要工作（1）与外界交互：读写各种各样的格式和数据库；（2）准备：对数据进行清理、修整、整和、规范化、重塑、切片切块、变形等处
分类：
编程语言 时间：
2018-01-14 15:55:37
阅读次数：
212
制造业实施了MES系统后，对企业发展将会产生重要的影响。主要体现在以下几个方面的： (一)提高车间生产效率 MES系统时刻追踪生产中各个环节(生产计划、作业执行、质量检验、库房管理等)的数据，根据系统中集成的算法，动态的优化生产计划，并且可以并行准备生产任务，最大限度的利用生产产能。因此MES系统可 ...
分类：
其他好文 时间：
2018-01-10 11:27:19
阅读次数：
152
前言：传统的USB光驱，移动硬盘的安装方式在web集群，分布式计算等以力所难及。通过源码编译的方式安装程序在灵活性，可定制性等方面具有无可比拟的优势，但在大规模的服务器群应用存在一定的局限性。YUM仓库实现基于网络的软件包安装，更新，卸载的规范化管理；可自动查找并解决rpm包之间的依赖关系，无须手动安装和卸载每一个rpm包。部署YUM软件仓库，实现客户端通过ftp方式安装，卸载，更新软件1、实验环
分类：
其他好文 时间：
2018-01-04 11:08:44
阅读次数：
144
一、背景 “设计项目目录结构”和“代码编码风格”一样，属于个人风格问题。对于这种风格上的规范，一直都存在两种态度： 这种个人风格问题“无关紧要”。理由是能让程序工作就好，风格问题根本不是问题 规范化更好的控制程序结构，让程序具有更高的可读性 个人更偏向后者，因为项目的可读性、可维护性很重要。“项目目 ...
分类：
其他好文 时间：
2018-01-03 17:29:50
阅读次数：
136
JEESZ驱动式项目构建 内置高效可靠的代码生成器 支持多种数据模型，根据数据库表生成常规重复性代码，使研发工程师更专注于业务逻辑代码的实现，大幅提升其工作效率，解放其重复性工作 OPEN CI 开源规范化项目管理解决方案，实现软件流水线式生产，保证正确性、可靠性 向导式创建、导入项目，集成版本控制 ...
分类：
编程语言 时间：
2018-01-03 11:47:45
阅读次数：
154
一. 数组输出可以是通过打印的方式，也可以是调用对象的方法，变成字符串的形式。 control+shift+f，代码规范化。 ...
分类：
编程语言 时间：
2017-12-27 11:55:14
阅读次数：
121
