kafka主要配置 kafka主要配置 Kafka为broker,producer和consumer提供了很多的配置参数。 了解并理解这些配置参数对于我们使用kafka是非常重要的。 官网配置地址： Configuration 每个kafka broker中配置文件server.properties ...
分类：
其他好文 时间：
2018-12-02 16:12:10
阅读次数：
231
1.启动zookeeper 2.启动kafka服务（broker） 3.启动kafka的producer（前提：已经创建好topic 4.启动kafka的consumer 5.打jar包，将带有依赖的jar包上传到集群上 6.编写启动脚本，启动任务 sh run_receiver.sh 监控任务及查 ...
分类：
其他好文 时间：
2018-12-01 11:08:19
阅读次数：
218
rabbitmq的术语 组件 Server(broker)：接收客户端连接，实现AMQP消息队列的路由功能的进程.简单来说就是消息队列服务器实体。 Vhost：虚拟主机，一个broker里可以开设多个vhost，用作不同用户的权限分离。权限控制组，用户只能关联到一个vhost上，一个vhost中可以 ...
分类：
其他好文 时间：
2018-11-30 20:03:47
阅读次数：
130
(图片来源于网络) 扩展: ZeroMQ : 扩展性好，开发比较灵活，采用C语言实现，实际上他只是一个socket库的重新封装，如果我们做为消息队列使用，需要开发大量的代码 RabbitMQ :结合erlang语言本身的并发优势，性能较好，但是不利于做二次开发和维护 ActiveMQ: 历史悠久的开 ...
分类：
其他好文 时间：
2018-11-28 23:48:31
阅读次数：
197
概述 在平时对kafka的运维工作中，我们经常会由于某些原因去删除一个topic，比如这个topic是测试用的，生产环境中需要删除。或者我想扩容topic的同时，这个topic中的数据我不想要了，这时候删除topic，增加broker，再重新创建topic就会是比较简单的方法。但是kafka删除to ...
分类：
其他好文 时间：
2018-11-27 23:19:53
阅读次数：
279
安装JDK export JAVA_HOME=/usr/local/bigdata/jdk1.8.0_202 export PATH=$JAVA_HOME/bin:$PATH 安装Kafka # Hostname and port the broker will advertise to produ ...
分类：
编程语言 时间：
2018-11-27 12:31:21
阅读次数：
254
概述 1.大多数应用中，可以通过消息服务中间件来提升系统异步能力和拓展解耦能力。 2.消息服务中的两个重要概念：消息代理（Message broker）和目的地（destination） 当消息发送者发送消息后，将由消息代理接管，消息代理保证消息传递到指定目的地。 3.消息队列主要有两种形式的目的地 ...
分类：
编程语言 时间：
2018-11-26 16:13:06
阅读次数：
278
1. celery介绍和使用 Celery 是一个 基于python开发的分布式异步消息任务队列(可以简单理解为python多进程或多线程中的queue)，通过它可以轻松的实现任务的异步处理。celery的架构由三部分组成：消息中间件（message broker），任务执行单元（worker）和任 ...
分类：
其他好文 时间：
2018-11-24 14:15:50
阅读次数：
294
Apache RocketMQ在linux上的常用命令 进入maven安装后的rocketmq的bin目录 1、启动Name Server 2、启动Broker 3、关闭Name Server 4、关闭Broker 5、查看Name Server日志 6、查看Broker日志 ...
分类：
Web程序 时间：
2018-11-21 22:21:27
阅读次数：
1039
python—Celery异步分布式 Celery 是一个python开发的异步分布式任务调度模块，是一个消息传输的中间件，可以理解为一个邮箱，每当应用程序调用celery的异步任务时，会向broker传递消息，然后celery的worker从中取消息 Celery 用于存储消息以及celery执行 ...
分类：
编程语言 时间：
2018-11-20 15:02:59
阅读次数：
250
