架构 Driver Program:每个 Spark 应用的主程序 Spark Context:在 Driver 里面构建,用于协调、调度在各个节点运行的进程 Cluster Manager:管理节点,分配资源(可以是 Spark standalone、Mesos、Yarn、K8S) Worker ...
分类:
其他好文 时间:
2020-05-22 09:37:29
阅读次数:
62
应业务需求,需要安装OPENCTI。很无奈的配了一下午。 首先是安装需求: 1. Ubuntu 2. Docker version 19.03.5 + docker-compose version 1.25.0 3. 4G内存 1. 安装docker 1 安装docker 2 安装docker-co ...
分类:
其他好文 时间:
2020-05-21 19:36:58
阅读次数:
228
Baseline的理解: 1、取jason文件中的label train_label = [train_json[x]['label'] for x in train_json] 2、不计算梯度,常用在测试 with torch.no_grad(): 3、取模型结果 model_conv = nn. ...
分类:
其他好文 时间:
2020-05-20 14:02:41
阅读次数:
159
今日内容Ansible Playbook变量解析 # 1.变量概述 变量提供了便捷的方式来管理ansible项目中的动态值。比如zabbix-3.14.15可能后期会反复的使用 到这个版本的值,那么如果将此值设置为变量,后续使用和修改都将变得非常方便。这样可以简化项目的创建和维护 定义变量分为如下的 ...
分类:
其他好文 时间:
2020-05-19 00:42:30
阅读次数:
50
死磕nginx系列--使用upsync模块实现负载均衡 问题描述 nginx reload是有一定损耗的,如果你使用的是长连接的话,那么当reload nginx时长连接所有的worker进程会进行优雅退出,并当该worker进程上的所有连接都释放时,进程才真正退出。 解决办法 对于社区版nginx ...
分类:
其他好文 时间:
2020-05-18 18:59:41
阅读次数:
50
死磕nginx系列--使用nginx做cache服务 配置文件 nginx.conf 主配置文件 worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type appli ...
分类:
系统相关 时间:
2020-05-18 18:19:55
阅读次数:
57
一,原理&概述 Nginx服务的启停在Linux下有很多种,有一类是通过信号机制来实现的 Nginx在运行时会保持一个主进程和一个或多个worker process工作进程。既然有主进程,那么我们给老大发个信息是不是就关掉Nginx了呢? 这里我们通过进程号PID来发送信号,获取PID有两个方法: ...
分类:
其他好文 时间:
2020-05-18 00:48:56
阅读次数:
76
web worker 是运行在后台的 JavaScript,不会影响页面的性能。 什么是 Web Worker? 当在 HTML 页面中执行脚本时,页面的状态是不可响应的,直到脚本已完成。 web worker 是运行在后台的 JavaScript,独立于其他脚本,不会影响页面的性能。您可以继续做任 ...
分类:
Web程序 时间:
2020-05-15 15:43:53
阅读次数:
47
本文示例环境为两台服务器,一个虚IP 主服务器:192.168.1.110 从服务器:192.168.1.111 虚IP:192.1683.1.112 一.Nginx配置负载均衡 ① 主服务器与从服务器均配置以下nginx内容: user nginx;worker_processes auto; e ...
分类:
系统相关 时间:
2020-05-15 11:29:34
阅读次数:
92
最近Python的web框架FastApi火起来了,于是自己也搞了一个,写一下流程。 首先安装fastapi: pip install fastapi pip install uvicorn 新建一个启动文件,就叫main.py吧,引入一下包即可: from fastapi import FastA ...