利用线程和线程池进行爬虫: 同步调用:即提交一个任务后就在原地等待任务结束,等到拿到任务的结果后再继续下一行代码,效率低下,调用一个任务,就在原地等待任务结束拿到结果后才继续往后执行。 解决方案一:使用多线程/多进程(不建议) 好处:在服务器端使用多线程(或多进程)的目的是让每个连接都拥有独立的线程 ...
分类:
其他好文 时间:
2020-05-15 11:45:15
阅读次数:
60
1,创建zabbix api 脚本 [root@web3 zabbix]# cat test.py #! /usr/bin/python3 # -*- coding:utf-8 -*- import requests import json url = "http://192.168.0.11/za ...
外网python2.7 虚拟环境中安装了 flask 模块,期望在内网使用,如何迁移外网的虚拟环境到内网呢? 1 进入虚拟环境 2 导入虚拟环境中已安装包的信息到requirements.txt 文件中 3 创建一个临时目录,将安装包下载到该目录下 4 将创建好的虚拟环境打包,拷贝到新的环境中 5 ...
分类:
编程语言 时间:
2020-05-14 13:11:42
阅读次数:
83
研究了很长时间才成功。 假如有比较复杂的json串需要通过post提交: { "links": [], "fields": [], "children": { "serverRuntimes": { "links": [], "fields": ["name"], "children": { "JM ...
分类:
Web程序 时间:
2020-05-14 10:28:15
阅读次数:
68
创建数据表 在创建数据库之后,接下来就要在数据库中创建数据表。所谓创建数据表,指的是在已经创建的数据库中建立新表。创建数据表的过程是规定数据列的属性的过程,同时也是实施数据完整性(包括实体完整性、引用完整性和域完整性)约束的过程。 语法 数据表属于数据库,在创建数据表之前应该使用语句 指定操作在哪个 ...
分类:
其他好文 时间:
2020-05-14 01:03:56
阅读次数:
82
POJ3057 Evacuation 二分图匹配+最短路 题目描述 Fires can be disastrous, especially when a fire breaks out in a room that is completely filled with people. Rooms us ...
分类:
其他好文 时间:
2020-05-13 23:41:35
阅读次数:
114
一、实验目标 简单应用SET工具建立冒名网站 ettercap DNS spoof 结合应用两种技术,用DNS spoof引导特定访问到冒名网站 二、实验过程 (一)简单应用SET工具建立冒名网站 1.Apache设置 使用指令sudo vi /etc/apache2/ports.conf将Apac ...
分类:
其他好文 时间:
2020-05-13 23:34:38
阅读次数:
75
前言 好看视频大部分是精品短视频!相同的接口返回不同的视频给用户 今天就带大家把系统推荐的视频给爬取下来! 知识点 1、动态数据抓包演示 2、json数据解析方法 3、视频数据保存 环境介绍 python 3.6 pycharm requests json 爬虫的一般思路 1、分析目标网页,确定爬取 ...
分类:
其他好文 时间:
2020-05-13 21:54:02
阅读次数:
100
腾讯社招职位(多线程+线程池) >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> version_1 声明:本内容仅学习参数,如有侵权,将立即删除 <<<<<<<<<<<<<<<<<<<<&l ...
分类:
其他好文 时间:
2020-05-13 21:51:40
阅读次数:
78
任务:从es集群a,b,c 。。。把数据迁移到新es集群d,e,f 迁移数据只是复制 需要额外3台服务器,分别部署新es集群d,e,f 和 单点logstash是迁移通道 和 kibana查询工具 (集群es复制到单点es,没试过,改天试一下) 具体部署步骤可以自行百度 或者 看我之前的随笔 主要是 ...
分类:
其他好文 时间:
2020-05-13 19:52:47
阅读次数:
157