Kafka在生产者中序列化为二进制对象推送给Broker，下面是一个自定义序列化的示例，序列化一个User对象； 首先，引入jackson-mapper-asl 然后定义需要被序列化的实体类： package cn.org.fubin; public class User { private Str ...
分类：
其他好文 时间：
2019-12-01 22:57:12
阅读次数：
167
使用 Redis¶ 安装¶ 对 Redis 的支持需要额外的依赖。你可以用 celery[redis] 捆绑 同时安装 Celery 和这些依赖： $ pip install -U celery[redis] 配置¶ 配置非常简单，只需要设置 Redis 数据库的位置: BROKER_URL = ' ...
分类：
其他好文 时间：
2019-11-28 01:38:25
阅读次数：
224
1.ERROR Exiting Kafka due to fatal exception (kafka.Kafka$)原因：找不到properties文件，或者配置文件路径指定错误 办法：指定配置文件路径 2.Configured broker.id 130 doesn’t match stored ...
分类：
其他好文 时间：
2019-11-20 15:25:49
阅读次数：
65
使用 netty 监听端口 接收请求 分发请求 broker 启动时，把不同类型的请求对应到各自的处理器 不同的线程池处理不同的请求，做了很好的隔离。 ...
分类：
其他好文 时间：
2019-11-16 19:21:25
阅读次数：
53
broker端设计架构 消息设计 一个普通的Kafka消息对象有多大 这个Message对象被创建好实际的大小是多少？ JMM要求Java对象必须按照8Byte对齐，未对齐的部分会填充空白字节进行补齐。 外加64位JVM对象头通常由两个8Byte的word组成。 所以大小 = 16byte(对象头) ...
分类：
其他好文 时间：
2019-11-14 10:13:14
阅读次数：
90
1、 添加任务到app 2、 通过delay将任务加到broker里面，并拿到任务的id 3、 开启celery服务，执行broker里面的任务 然后将任务执行的结果扔到packend里面 4、 然后获取结果 ...
分类：
其他好文 时间：
2019-11-10 19:48:08
阅读次数：
82
Apache Kafka 是 LinkedIn 基础设施的核心组件，最初是作为内部流式处理平台而诞生的，后来被开源出来，并得到了外部的广泛采用。虽然有很多公司和项目在使用 Kafka，但他们的数据规模很少能够达到 LinkedIn 这样。Kafka 被广泛地应用在 LinkedIn 的软件栈中，用于活动追踪、消息交换、指标收集，等等。LinkedIn 有 100 多个 Kafka 集群，其中包含了 4000 多个 broker，总共有 10 万多个 topic 和 700 万个分区。截止到目前，LinkedIn 的 Kafka 集群每天处理的消息数量超过了 7 万亿条。
分类：
其他好文 时间：
2019-11-09 00:24:55
阅读次数：
134
一、消息队列作用：解耦、削峰、缓冲（生产速度和消费速度不一致） 二、消息队列的两种模式：点对点模式（一对一）、发布订阅模式（一对多 1. 消费者主动拉取消息 2. 队列主动推消息） 三、基础架构： A、Broker kafka的一个进程（集群的一个节点） >>>Topic 主题，将数据分类 >>>P ...
分类：
其他好文 时间：
2019-11-08 19:08:51
阅读次数：
99
单机部署 如果有多网卡， 启动nameserver, broker时要指定使用的ip 修改jvm内存占用参数 运维控制台 https://github.com/apache/rocketmq externals/blob/master/rocketmq console/doc/1_0_0/UserG ...
分类：
其他好文 时间：
2019-11-03 16:25:10
阅读次数：
86
Celery架构 Celery架构由三部分组成，消息中间件(message broker) , 任务执行单元(worker) 和任务执行结果储存(backend-task result store)组成 安装的celery主体模块，默认只提供worker，要结合其他技术提供broker和backen ...
分类：
其他好文 时间：
2019-11-03 01:26:08
阅读次数：
72
