主题： 1、kafka是写磁盘还是写内存？ 2、kafka究竟是由 consumer 从 broker 那里拉数据，还是由 broker 将数据推到 consumer？ 3、如何区分已消费（consumed）的记录？ 4、kafka用什么方法保障持久化的低延迟和高效率？ 5、kafka的消息保证有几 ...
分类：
其他好文 时间：
2019-12-05 18:29:32
阅读次数：
106
1、使用下面语句启用数据库的 Service Broker ALTER DATABASE [YOUR DBNAME] SET NEW_BROKER WITH ROLLBACK IMMEDIATE; ALTER DATABASE [YOUR DBNAME] SET ENABLE_BROKER; 2、使 ...
分类：
数据库 时间：
2019-12-03 15:34:48
阅读次数：
102
因为在具体开发中某些环节考虑使用kafka却担心有消息丢失的风险，本周结合项目对kafka的消息可靠性做了一下调研和总结： 首先明确一下丢消息的定义。kafka集群中的部分或全部broker挂了，导致consumer没有及时收到消息，这不属于丢消息。broker挂了，只要消息全部持久化到了硬盘上，重 ...
分类：
其他好文 时间：
2019-12-03 14:18:21
阅读次数：
127
Kafka在生产者中序列化为二进制对象推送给Broker，下面是一个自定义序列化的示例，序列化一个User对象； 首先，引入jackson-mapper-asl 然后定义需要被序列化的实体类： package cn.org.fubin; public class User { private Str ...
分类：
其他好文 时间：
2019-12-01 22:57:12
阅读次数：
167
使用 Redis¶ 安装¶ 对 Redis 的支持需要额外的依赖。你可以用 celery[redis] 捆绑 同时安装 Celery 和这些依赖： $ pip install -U celery[redis] 配置¶ 配置非常简单，只需要设置 Redis 数据库的位置: BROKER_URL = ' ...
分类：
其他好文 时间：
2019-11-28 01:38:25
阅读次数：
224
oracle DG查看延时时间 SQL> select value from v$dataguard_stats where name='apply lag'; 例如： SQL> select value from v$dataguard_stats where name='apply lag'; ...
分类：
数据库 时间：
2019-11-22 19:19:37
阅读次数：
265
1.ERROR Exiting Kafka due to fatal exception (kafka.Kafka$)原因：找不到properties文件，或者配置文件路径指定错误 办法：指定配置文件路径 2.Configured broker.id 130 doesn’t match stored ...
分类：
其他好文 时间：
2019-11-20 15:25:49
阅读次数：
65
使用 netty 监听端口 接收请求 分发请求 broker 启动时，把不同类型的请求对应到各自的处理器 不同的线程池处理不同的请求，做了很好的隔离。 ...
分类：
其他好文 时间：
2019-11-16 19:21:25
阅读次数：
53
broker端设计架构 消息设计 一个普通的Kafka消息对象有多大 这个Message对象被创建好实际的大小是多少？ JMM要求Java对象必须按照8Byte对齐，未对齐的部分会填充空白字节进行补齐。 外加64位JVM对象头通常由两个8Byte的word组成。 所以大小 = 16byte(对象头) ...
分类：
其他好文 时间：
2019-11-14 10:13:14
阅读次数：
90
1、 添加任务到app 2、 通过delay将任务加到broker里面，并拿到任务的id 3、 开启celery服务，执行broker里面的任务 然后将任务执行的结果扔到packend里面 4、 然后获取结果 ...
分类：
其他好文 时间：
2019-11-10 19:48:08
阅读次数：
82
