kafka 应用数据读取理论生产者和消费者 生产者:生产数据 消费者:消费生产者产生的数据 对应关系:一个任务可以有多个分组,可以对应多个消费者,但消费者数量不能大于生产者分组数量,多余的也是无用的。(多对多的中的一对一关系) 特性:kafka只需写入一次,可以支持任意多的应用读取全部数据,如果应用 ...
分类:
编程语言 时间:
2021-06-30 17:51:24
阅读次数:
0
学习目的: 1.了解主流的Docker仓库。 2.掌握Harbor私有仓库的搭建与使用。 3.掌握Harbor私有仓库的主从同步。 harbor的组成: proxy:Nginx前端代理,主要是分发前端页面UI访问和镜像上传和下载流量。 registry:镜像仓库,负责存储镜像文件。 核心服务:提供W ...
分类:
其他好文 时间:
2021-06-30 17:51:04
阅读次数:
0
文章目录一、kafka是什么?二、使用步骤1. 安装1.引入库2.消费端:读取数据3.发送端:发送数据总结一、kafka是什么?kafka 是一个分布式流式计算平台。而在大部分企业开发人员中,都是把 kafka 当成消息系统使用,即它是一个分布式消息队列,很少会使用 kafka 的流式计算。它有四个 ...
分类:
编程语言 时间:
2021-06-30 17:50:03
阅读次数:
0
异常(Exception) 异常分类 检查性异常:最具代表的检查性异常是用户错误或问题引起的异常,这是程序员无法预见的。例如要打开一个不存在的文件时,一个异常就发生了,这些异常在编译时不能被简单地忽略。 运行时异常:运行时异常是可能被程序员避免的异常。与检查异常相反,运行时异常可以在编译时被忽略。 ...
分类:
编程语言 时间:
2021-06-30 17:48:58
阅读次数:
0
(一)单字符串 1, grep -o "查找字符串" 文件名 | wc -l 2, awk -v RS="@#$j" '{print gsub(/targetStr/,"&")}' filename awk '{s+=gsub(/targetStr/,"&")}END{print s}' filen ...
分类:
系统相关 时间:
2021-06-30 17:41:59
阅读次数:
0
# 给定一个只包括 '(',')','{','}','[',']' 的字符串 s ,判断字符串是否有效。 # # 有效字符串需满足: # # # 左括号必须用相同类型的右括号闭合。 # 左括号必须以正确的顺序闭合。 # # # # # 示例 1: # # # 输入:s = "()"# 输出:true ...
分类:
编程语言 时间:
2021-06-29 16:11:29
阅读次数:
0
Pandas是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。Pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现,它是使Python成为强大而高效的数据分析环境的重要因素 ...
分类:
编程语言 时间:
2021-06-29 16:03:05
阅读次数:
0
Python常用代码功能 提取一个文件夹下的所有图片(含子目录)到另一个文件夹下 import os import cv2 import shutil def getFileList(dir,Filelist, ext=None): """ 获取文件夹及其子文件夹中文件列表 输入 dir:文件夹根目 ...
分类:
编程语言 时间:
2021-06-29 16:00:12
阅读次数:
0
python将数据快速分成训练集和测试集 参考博客: python将一个文件夹下图片按比例分在两个文件夹下_qq_32039433的博客-CSDN博客 代码如下: 神经网络模型训练时得到的数据并没有分成测试集和训练集,所以需要自己按比例进行分割,如下是进行的按照3:7进行数据分割python代码。 ...
分类:
编程语言 时间:
2021-06-29 15:29:56
阅读次数:
0
configparser模块:读取配置文件的包,配置文件由章节(section[sectionName])、键、值组成。(key=value or key: value),其中key=value通过被称为option 1、新建一个config.ini文件 1 [wework] 2 corp_id = ...
分类:
编程语言 时间:
2021-06-29 15:27:04
阅读次数:
0