zookeeper是作为一个数据管道存储kafka消息队列，上一篇已经解决怎样部署一个zookeeper集群，基于zookeeper集群基础上，本篇介绍怎样部署kafka集群。 mv kafka_2.13-2.4.0.tgz /usr/local tar -zxvf kafka_2.11-2.4.0 ...
分类：
其他好文 时间：
2020-01-30 11:20:41
阅读次数：
140
什么是kafkaKafka官网自己的介绍是：一个可支持分布式的流平台。kafka官网介绍kafka三个关键能力：1.发布订阅记录流，类似于消息队列与企业信息系统2.以容错的持久方式存储记录流3.对流进行处理kafka通常应用再两大类应用中：1.构建实时流数据管道，在系统或应用程序之间可靠地获取数据2.构建转换或响应数据流的实时流应用程序kafka的一些基本概念：1.Kafka作为一个集群运行在一个
分类：
其他好文 时间：
2020-01-15 19:09:18
阅读次数：
241
1. 聚合aggregate 聚合主要用于计算数据，类似sql中的sum()、avg() 语法： db.集合名称.aggregate([{管道:{表达式}}]) stu准备的数据： 1.1 管道 管道在Unix和Linux中一般用于将当前命令的输出结果作为下一个命令的输入。 ps ajx | gre ...
分类：
数据库 时间：
2019-12-21 00:12:41
阅读次数：
96
1、概述 1.1、Apache Kafka是一个 分布式 流处理 平台； 2、Kafka适应于什么场景？ 2.1、构造 实时 流数据管道，在 系统 或 应用之间 可靠地获取数据（相当于message queue） 2.2、构建 实时 流式应用程序，对这些流数据进行转换或者影响（流处理，Kafka t ...
分类：
其他好文 时间：
2019-11-12 09:13:21
阅读次数：
84
Kafka是linkedIn开发并开源的一套分布式的高性能消息引擎服务，后来被越来越多的公司应用在自己的系统中，可以说，Kafka是大数据时代数据管道技术的首选。在设计的时候，它就实现了高可靠、高吞吐、高可用和可伸缩，得益于这些特性，加上活跃的社区，Kafka成为了一个完备的分布式消息引擎解决方案。 ...
分类：
其他好文 时间：
2019-10-10 22:33:12
阅读次数：
119
一、上节总结回顾 上一讲里，根据DMP系统的各个应用场景，我们从抽象的原理层面，选择了AeroSpike作为KV数据库，Kafka作为数据管道，Hadoop/Hive来作为数据仓库。 不过呢，肯定有不信邪的工程师会问，为什么MongoDB，甚至是MySQL这样的文档数据库或者传统的关系型数据库不适应 ...
分类：
数据库 时间：
2019-09-14 11:57:40
阅读次数：
138
kafka是基于构建实时数据管道和数据流的应用。具有实时横向扩展、高吞吐量、支持大量堆积具有容错性和速度快等特点。它是一个高性能分布式消息系统。通常一个分布式流数据平台它具有三个特点： 发布和订阅功能，类似于消息系统 以容错的方式记录流 处理流 OpdenDJ 为企业提供了一个高性能，高可靠性的身份 ...
分类：
其他好文 时间：
2019-09-05 23:09:30
阅读次数：
100
Apache Beam实战指南 | 大数据管道（pipeline）设计及实践 mp.weixin.qq.com Apache Beam实战指南 | 大数据管道（pipeline）设计及实践 mp.weixin.qq.com mp.weixin.qq.com 策划 & 审校 | Natalie作者 | ...
分类：
Web程序 时间：
2019-08-22 11:01:48
阅读次数：
109
1.1 kafka（分布式发布订阅消息系统） 1.1.1 产品介绍 流媒体平台有三个关键功能: 发布和订阅记录流，类似于消息队列或企业消息系统。 以容错的持久方式存储记录流。 在记录发生时处理记录流。 Kafka通常用于两大类应用程序: 构建实时流数据管道，在系统或应用程序之间可靠地获取数据 构建实 ...
分类：
其他好文 时间：
2019-08-14 12:21:45
阅读次数：
76
IPC-进程间通信 一、管道 1、概念 2、pipe函数 2.1pipe介绍 2.2 pipe代码示例 父进程向子进程写数据 2.3管道读写行为 2.4管道优劣 2.5 FIFO（有名管道） 二、共享存储映射 1.创建内存映射 2.释放映射区 3.代码示例 通过mmap修改文件内容 4.mmap注意 ...
分类：
系统相关 时间：
2019-07-27 15:51:53
阅读次数：
140
