在启动kafka时候报错: java.nio.file.FileSystemException: D:\kafka_2.12-2.1.0\kafka_2.12-2.1.0\logs\__consumer_offsets-30\00000000000000000000.timeindex.cleane ...
分类：
编程语言 时间：
2019-06-01 21:42:09
阅读次数：
1014
本文从实践的角度介绍了kafka的安装方法、简单使用、和相关API（java和python）的使用，结合上一篇文章的简介和原理，可以对Kafka有一个比较基础的理解和认识，并在工程中对其进行灵活运用。 ...
分类：
Web程序 时间：
2019-06-01 13:59:29
阅读次数：
151
轮询调度（Round-robin dispatching）：即依次分配分配任务给worker。 消息答复(Message acknowledgement)：在consumer处理完之后，进行消息答复。避免杀掉worker后，message消息。 消息持久化(Message durability)：在 ...
分类：
其他好文 时间：
2019-05-28 09:25:59
阅读次数：
103
1 tail -nf consumer.log 输出文件最后n行的内容，同时监视文件的改变，只要文件有一变化就同步刷新并显示出来 2 tail -f n consumer.log 显示文件的最后n行，但是不监视文件的变化 3 grep 关键字 -C n consumer.log 搜索这个文件中，这个 ...
分类：
系统相关 时间：
2019-05-27 17:53:34
阅读次数：
169
文章大纲 一、Hystrix基础介绍二、断路器Hystrix简单使用三、自定义Hystrix请求命令四、Hystrix的服务降级与异常处理五、Hystrix的请求缓存与请求合并六、Hystrix仪表盘与Turbine集群监控七、项目源码与参考资料下载八、参考文章 一、Hystrix基础介绍 1. H ...
分类：
编程语言 时间：
2019-05-27 17:46:40
阅读次数：
194
MQ使用过程中，有些业务场景需要我们保证顺序消费，而如果一个Producer，一个Queue，多个Consumer的情况下是无法保证顺序的 举例： 1、业务上产生三条消息，分别是对数据的增加、修改、删除，而如果没有保证顺序消费，结果可能是删除、修改、增加，本来数据最终要删除 、结果变成增加 2、或者 ...
分类：
其他好文 时间：
2019-05-27 11:51:51
阅读次数：
1316
rabbitmq
- 单一模式：即单机情况不做集群，就单独运行一个 rabbitmq 而已。
- 普通模式：默认模式，以两个节点（rabbit01、rabbit02）为例来进行说明。对于 Queue 来说，消息实体只存在于其中一个节点 rabbit01（或者 rabbit02），rabbit01 和 rabbit02 两个节点仅有相同的元数据，即队列的结构。当消息进入 rabbit01 节点的 Queue 后，consumer 从 rabbit02 节点消费时，RabbitMQ 会临时在 rabbit01、rabbit02 间进行消息传输，把 A 中的消息实体取出并经过 B 发送给 consumer。所以 consumer 应尽量连接每一个节点，从中取消息。即对于同一个逻辑队列，要在多个节点建立物理 Queue。否则无论 consumer 连 rabbit01 或 rabbit02，出口总在 rabbit01，会产生瓶颈。当 rabbit01 节点故障后，rabbit02 节点无法取到 rabbit01 节点中还未消费的消息实体。如果做了消息持久化，那么得等 rabbit01 节点恢复
分类：
其他好文 时间：
2019-05-25 21:38:51
阅读次数：
150
1.大量消息在mq里积压了几个小时了还没解决 场景： 几千万条数据在MQ里积压了七八个小时，从下午4点多，积压到了晚上很晚，10点多，11点多。线上故障了，这个时候要不然就是修复consumer的问题，让他恢复消费速度，然后傻傻的等待几个小时消费完毕。这个肯定不行。一个消费者一秒是1000条，一秒3 ...
分类：
其他好文 时间：
2019-05-22 22:23:30
阅读次数：
117
1. Rocketmq消费模型(实时性) 常见的数据同步方式有这几种： push：producer发送消息后，broker马上把消息投递给consumer。这种方式好在实时性比较高，但是会增加broker的负载；而且消费端能力不同，如果push推送过快，消费端会出现很多问题。 pull：produc ...
分类：
其他好文 时间：
2019-05-19 19:23:56
阅读次数：
218
只做下工作记录，比较重要的几个属性： concurrency：一个生产者可以同时由多少个消费者消费，这个一般根据你的机器性能来进行配置 prefetch：允许为每个consumer指定最大的unacked messages数目。要是对实时性要求很高的话，prefetch应该设置成1，concurre ...
分类：
其他好文 时间：
2019-05-19 13:43:21
阅读次数：
130
