一、消息中间件相关知识 1、概述 消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发Ro ...
分类：
其他好文 时间：
2019-12-22 16:17:24
阅读次数：
75
图片来源网络 1.创建topic 2.启动三组go消费者 3.启动go生产者 4.第一组消费者输出 5.第二组消费者输出 6.第三组消费者输出 7.结论 1.消息将会被均匀的分布到不同的分区中 实现了负载均衡和水平扩展 2.消息会全量落到不同的消费者组 3.消费者组内的消费者共享一个消费者组ID 组 ...
分类：
其他好文 时间：
2019-12-22 16:16:32
阅读次数：
79
Kafka中的事务是怎么实现的？ Kafka中的事务可以使应用程序将消费消息、生产消息、提交消费位移当作原子操作来处理，同时成功或失败，即使该生产或消费会跨多个分区。 生产者必须提供唯一的transactionalId，启动后请求事务协调器获取一个PID，transactionalId与PID一一对 ...
分类：
其他好文 时间：
2019-12-22 14:15:41
阅读次数：
82
如果说数组是 PHP 的精髓，数组玩得不6的，根本不能算是会用PHP。那协程对于 Swoole 也是同理，不理解协程去用 Swoole，那就是在瞎用。 首先，Swoole 只能运行在命令行（Cli）模式下，所以我们开发调试都是使用命令行，而不是 php-fpm/apache 等。 在 Swoole ...
分类：
其他好文 时间：
2019-12-21 23:02:46
阅读次数：
192
安装前期准备： 1，准备三个节点（根据自己需求决定） 2，三个节点上安装好zookeeper（也可以使用kafka自带的zookeeper） 3，关闭防火墙 chkconfig iptables off 一、下载安装包Kafka官网下载安装包 http://kafka.apache.org/down ...
分类：
其他好文 时间：
2019-12-21 23:01:41
阅读次数：
202
9.1 Kafka 基础知识 9.1.1 消息系统 点对点消息系统：生产者发送一条消息到queue，一个queue可以有很多消费者，但是一个消息只能被一个消费者接受，当没有消费者可用时，这个消息会被保存直到有 一个可用的消费者，所以Queue实现了一个可靠的负载均衡。 发布订阅消息系统：发布者发送到 ...
分类：
其他好文 时间：
2019-12-21 22:55:47
阅读次数：
90
Flume和 Sqoop Sqoop简介 Sqoop是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具 原理: 将导入或导出命令翻译成Mapreduce程序来实现。 在翻译出的Mapreduce中主要是对InputFormat和OutputFormat ...
分类：
Web程序 时间：
2019-12-21 22:39:42
阅读次数：
187
Logstash：处理多个input Logstash的整个pipleline分为三个部分： input插件：提取数据。 这可以来自日志文件，TCP或UDP侦听器，若干协议特定插件（如syslog或IRC）之一，甚至是排队系统（如Redis，AQMP或Kafka）。 此阶段使用围绕事件来源的元数据标 ...
分类：
其他好文 时间：
2019-12-21 13:38:17
阅读次数：
389
1、下载kafka cd到/usr/local目录下，执行命令：wget https://www-us.apache.org/dist/kafka/2.4.0/kafka_2.13-2.4.0.tgz下载 2、解压kafka_2.13-2.4.0.tgz文件 tar -zxvf kafka_2.13 ...
分类：
系统相关 时间：
2019-12-20 13:38:48
阅读次数：
77
前言 使用Kafka也有一段时间了, 主要还是作为生产者推送数据到其它业务方, 作为生产者编写代码并不多, 因为客户端内部做了太多的处理, 同时也不太容易达到性能瓶颈, 大多情况也只是改变一下发送消息的路由策略. 即便如此面对众多参数如果不理解一条消息从发送到Kafka集群中间经历什么, 那么设置这 ...
分类：
其他好文 时间：
2019-12-19 09:42:19
阅读次数：
99
