其中,zookeeper的地址,在kafka config/consummer.properties的目录下,要配置下 ...
分类：
其他好文 时间：
2016-09-12 06:17:00
阅读次数：
129
Linux下librdkafka客户端的编译运行 librdkafka是一个开源的Kafka客户端C/C++实现，提供了Kafka生产者、消费者接口。 由于项目需要，我要将Kafka生产者接口封装起来给别人调用，所以先安装了librdkakfa，然后在demo上进行修改封装一个生产者接口。 [一] ...
分类：
系统相关 时间：
2016-09-09 11:44:20
阅读次数：
8180
Spring for Apache Kafka 1.1.0 Milestone 2 发布了。 此版本进行了一些bug修复，及开发以下新功能： 1. 当使用 @KafkaListener 时，M2 可以处理一批讯息（腾云科技ty300.com）。例如： 2. 您现在可以执行寻求监听操作--当 Kafk ...
分类：
编程语言 时间：
2016-09-09 10:22:07
阅读次数：
178
之前已经修改过jdk的环境变量，，，，在/etc/profile下，，， export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera export PATH=${JAVA_HOME}/bin:${PATH} 之前在运行kafka的时候他是起作用的，，，但是在关闭一 ...
分类：
编程语言 时间：
2016-09-06 15:37:07
阅读次数：
211
大致架构
* 每个应用实例部署一个日志agent
* agent实时将日志发送到kafka
* storm实时计算日志
* storm计算结果保存到hbasestorm消费kafka
创建实时...
分类：
其他好文 时间：
2016-09-05 17:17:02
阅读次数：
214
ELK+kafka构建日志收集系统 原文 http://lx.wxqrcode.com/index.php/post/101.html 原文 http://lx.wxqrcode.com/index.php/post/101.html 背景： 最近线上上了ELK，但是只用了一台Redis在中间作为消 ...
分类：
其他好文 时间：
2016-09-05 12:12:12
阅读次数：
340
上个月(16/07)把一个大而全的应用拆分成一个个小的应用。应用背景：1.基于SpringBoot开发2.依赖ActiveMQ，Kafka,Redis,Mongodb,MySQL等开源软件3.内部服务图片服务器，分布式计算平台服务，检索服务,消息推送服务等拆分原因：1.（原有的）应用模块之间高度耦合，各个模块都担当..
分类：
编程语言 时间：
2016-09-04 00:19:38
阅读次数：
312
如果只是用kafka-topics.sh的delete命令删除topic，会有两种情况： 如果当前topic没有使用过即没有传输过信息：可以彻底删除 如果当前topic有使用过即有过传输过信息：并没有真正删除topic只是把这个topic标记为删除（marked for deletion）。 要彻底 ...
分类：
其他好文 时间：
2016-09-01 21:30:14
阅读次数：
157
最近在spark读取kafka消息时，每次读取都会从kafka最新的offset读取。但是如果数据丢失，如果在使用Kafka来分发消息，在数据处理的过程中可能会出现处理程序出异常或者是其它的错误，会造成数据丢失或不一致。这个时候你也许会想要通过kafka把数据从新处理一遍，或者指定kafka的off ...
分类：
其他好文 时间：
2016-09-01 21:26:22
阅读次数：
124
1.稀疏索引 kafka分布式实现 tar包内容 server.properties broker.id=0 ...
分类：
其他好文 时间：
2016-09-01 21:17:20
阅读次数：
112
