Producer Producer：生产者，一个生产者发送业务应用系统生成的数据给Brokers（经纪人）。RocketMQ提供多范式发送：同步，异步，一站式。 Producer Group:生产者组，是将同样角色生产者的分组在一起。同一生产组的不同生产者实例都会被Broker经纪人联络告知提交或者 ...
分类：
其他好文 时间：
2018-06-29 16:24:52
阅读次数：
201
集群成员关系 kafka使用Zookeeper 来维护集群成员的信息。每个broker都有一个唯一标识符，这个标识符可以在配置里指定，也可以自动生成。在broker启动的时候，它通过创建临时节点把自己的ID注册到Zookeeper。kafka组件订阅Zookeeper的/brokers/ids路径， ...
分类：
其他好文 时间：
2018-06-28 00:59:40
阅读次数：
208
创建kafka生产者 要往kafka写入消息，首先要创建一个生产者对象，并设置一些熟悉。kafka生产者有3个必选的属性。 1.bootstrap.servers 该属性指定broker的地址清单，地址的格式为host:port 一般建议至少要提供两个broker的信息，一旦其中一个宏机，生产者仍然 ...
分类：
其他好文 时间：
2018-06-26 18:37:03
阅读次数：
737
flume：用来搜集日志，将日志传输至kakfa kafka：作为缓存，存储来自flume的日志 es：作为存储媒介，存放日志 logstash：真对日志进行过滤处理 flume部署 获取安装包、解压 修改flumen-env.sh脚本，设置启动参数 编辑配置文件 创建kafka的topic 启动f ...
分类：
Web程序 时间：
2018-06-26 18:01:46
阅读次数：
357
broker.id 唯一编号，每台不一样 host.name 本机host名称 num.network.threads 消息处理最大线程数，推荐cpu核数加1 num.io.threads 处理磁盘IO线程数，推荐cpu*2 socket.send.buffer.bytes=102400 #发送缓冲 ...
分类：
其他好文 时间：
2018-06-26 15:02:58
阅读次数：
129
发布与订阅消息系统。 数据(消息)的发送者不会直接把消息发送给接受者，这是发布与订阅消息系统的一个特点。发布者以某种方式对消息进行分类，接受者订阅他们，以便接受特定类型的消息。发布与订阅系统一般会有一个broker，也就是发布消息的中心点。 传统的交互方式： 用户>应用服务器>db 缺点：高并发服务 ...
分类：
其他好文 时间：
2018-06-26 11:07:22
阅读次数：
400
airflow整合环境搭建 1. 整体结构 mysql 后端数据库 redis 用于broker CeleryExecutor 执行器 2. 环境安装 安装python anaconda环境 安装mysql相关依赖 安装相关模块 安装mysql 安装redis 配置airflow 启动airflow ...
分类：
其他好文 时间：
2018-06-26 00:55:53
阅读次数：
757
Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 ...
分类：
其他好文 时间：
2018-06-25 19:02:06
阅读次数：
212
1、下载kafka_2.11-0.10.1.0.tgz解压 2、配置server.properties ############################# Server Basics #############################broker.id=1host.name=emr- ...
分类：
其他好文 时间：
2018-06-25 15:03:42
阅读次数：
156
RabbitMQRedisZeroMQActiveMQKafka/Jafka相关概念RabbitMQ是使用Erlang编写的一个开源的消息队列，本身支持很多的协议：AMQP，XMPP,SMTP,STOMP，也正因如此，它非常重量级，更适合于企业级的开发。同时实现了Broker构架，这意味着消息在发送给客户端时先在中心队列排队。对路由，负载均衡或者数据持久化都有很好的支持。Redis是一个基于Key
分类：
其他好文 时间：
2018-06-18 15:07:57
阅读次数：
161
