1.Kafka的经典架构 Kafka是LinkedIn用于日志处理的分布式消息队列，同时支持离线和在线日志处理。 Kafka对消息保存时根据Topic进行归类。 发送消息者就是Producer，消息的发布描述为Producer 消息接受者就是Consumer，消息的订阅描述为Consumer 每个Kafka实例称为Broker，将中间的存储阵列称作
分类：
其他好文 时间：
2018-12-30 22:03:15
阅读次数：
208
1 整合RabbitMQ 1.1 RabbitMQ的相关概念 组成部分 队列（Queue） 声明队列 交换机（Exchange） 用于转发消息，但是它不会做存储 ，如果没有 Queue bind 到 Exchange 的话，它会直接丢弃掉 Producer 发送过来的消息。 这里有一个比较重要的概念 ...
分类：
编程语言 时间：
2018-12-29 11:04:14
阅读次数：
208
#-*-coding:utf-8-*-importtensorflowastffn_queue=tf.train.string_input_producer(["winequality-white-test.csv"])reader=tf.TextLineReader(skip_header_lines=1)key,value=reader.read(fn_queue)print(key)#文件名
分类：
其他好文 时间：
2018-12-21 21:12:18
阅读次数：
248
介绍 MQ全称为Message Queue, 是一种分布式应用程序的的通信方法，它是消费-生产者模型的一个典型的代表，producer往消息队列中不断写入消息，而另一端consumer则可以读取或者订阅队列中的消息。RabbitMQ是MQ产品的典型代表，是一款基于AMQP协议可复用的企业消息系统 系 ...
分类：
其他好文 时间：
2018-12-20 14:15:39
阅读次数：
247
一、添加依赖 二、添加配置 三、生产者和消费者 Producer Consumer Controller 四、结果 github地址 ...
分类：
编程语言 时间：
2018-12-19 17:05:58
阅读次数：
141
1. kafka官网提供测试脚本 （1） 生产者测试脚本kafka-producer-perf-test.sh 参数说明： --topic topic名称， --num-records 总共需要发送的消息数， --record-size 每个记录的字节数， --throughput 每秒钟发送的记录 ...
分类：
其他好文 时间：
2018-12-17 11:42:09
阅读次数：
197
大数据日志传输之Kafka实战本套课程围绕Kafka架构详细讲解kafka的核心架构组件,broker,consumer,producer,以及日志的分段存储,稀疏索引,副本平衡,重分区,数据同步,Kafka的核心组控制器和消费者控制器等机制.全面讲解java最新版的api,指定分区消费,流控制,手动commit,异步Callback,同步的按照Partition进行批量commit等.实战集成S
分类：
其他好文 时间：
2018-12-14 17:35:52
阅读次数：
178
工程结构： 定义jar包依赖的版本，版本很重要，rabbit依赖spring，必须一致，否则报错： dependencies： spring-applicationContext： mq-applicationContext-producer.xml： mq-applicationContext-c ...
分类：
其他好文 时间：
2018-12-12 21:05:14
阅读次数：
149
继经典线程同步问题之后，我们来看看生产者消费者问题及读者写者问题。生产者消费者问题是一个著名的线程同步问题，该问题描述如下：有一个生产者在生产产品，这些产品将提供给若干个消费者去消费，为了使生产者和消费者能并发执行，在两者之间设置一个具有多个缓冲区的缓冲池，生产者将它生产的产品放入一个缓冲区中，消费 ...
分类：
编程语言 时间：
2018-12-11 11:25:27
阅读次数：
226
