网络爬虫（Web crawler），是一种按照一定的规则，自动的抓取万维网信息的程序或脚本。 1.1 爬虫入门程序 1.2网络爬虫介绍 大数据时代，信息的采集是一项重要的工作，而互联网的数据是海量的，如果单纯靠人力进行信息采集，不仅低效繁琐，搜集的成本也会提高。如何自动高效地获取互联网中我们感兴趣的 ...
分类：
其他好文 时间：
2020-05-30 21:50:07
阅读次数：
123
#1.使用unittest框架 pycharm中，直接import unittest即可！ #2.生成测试报告 pycharm中，import HTMLTestRunner，注意之前要先下载HTMLTestRunner.py脚本，详细见： ...
分类：
其他好文 时间：
2020-05-30 20:05:52
阅读次数：
143
一 概述 1.1 为什么需要工作流调度系统 1）一个完整的数据分析系统通常都是由大量任务单元组成： shell 脚本程序，java 程序，mapreduce 程序、hive 脚本等。2）各任务单元之间存在时间先后及前后依赖关系。3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行 ...
分类：
其他好文 时间：
2020-05-30 20:00:49
阅读次数：
59
1.前言 异常表示程序运行与自我预期不一致,与错误是两种概念，且异常必须被手动抛出。 代码分享：https://github.com/mtdgclub/tryCatch 1.1异常和错误区别 错误没办法在调用的时候向上传递,必须马上处理;异常则可以。 错误在触发的时候,必须对脚本做一个错误处理;异常 ...
分类：
Web程序 时间：
2020-05-30 19:46:22
阅读次数：
83
HTML <head> 元素 <head> 元素包含了所有的头部标签元素。在 <head>元素中你可以插入脚本（scripts）, 样式文件（CSS），及各种meta信息。 可以添加在头部区域的元素标签为: <title>, <style>, <meta>, <link>, <script>, <n ...
分类：
Web程序 时间：
2020-05-30 12:48:36
阅读次数：
62
关于MySQL的启动项提权，听其名知其意。就是将一段 VBS脚本导入到 C:\Documents and Settings\All Users\「开始」菜单\程序\启动 下，如果管理员重启了服务器，那么就会自动调用该脚本，并执行其中的用户添加及提权命令！ 这里有两种思路： 1. 如果 C:\Docu ...
分类：
数据库 时间：
2020-05-30 12:21:35
阅读次数：
93
研究了个一键部署Kubernetes的shell脚本，经验证可以在CentOS71804及CentOS71810上成功部署Kubernetes单机环境，但需要在执行脚本前做好OS环境的初始化。以下是该脚本的内容：#!/bin/shmv/etc/yum.repos.d/CentOS-Base.repo/etc/yum.repos.d/CentOS-Base.repo.originalwget-O/e
分类：
Web程序 时间：
2020-05-30 10:44:21
阅读次数：
90
JMeter 脚本请求错误 HTTP Status 415 的解决 然后在http请求上点击右键，添加配置元件-http信息头管理器，在信息头管理器上，添加一个参数，名称：Content-Type，值：application/json。然后在http请求上，content encoding处填上ut ...
分类：
Web程序 时间：
2020-05-30 10:25:30
阅读次数：
88
常用命令总结：sed用途：处理文本用法：sed[option]...‘script‘inputfile...-n不输出模式空间内容到屏幕，即不自动打印-e多点编辑-f/PATH/SCRIPT_FILE从指定文件中读取编辑脚本-r支持使用扩展正则表达式-i.bak备份文件并原处编辑地址定界：(1)不给地址：对全文进行处理(2)单地址：#：指定的行，$：最后一行/pattern/：被此处模式所能够匹配
分类：
其他好文 时间：
2020-05-30 09:14:41
阅读次数：
87
一个单值指标聚合，它计算从聚合文档中提取的数值的平均值，这些值可以从文档中的特定数字字段中提取，也可以由提供的脚本生成。 ...
分类：
其他好文 时间：
2020-05-30 01:30:56
阅读次数：
142
