Kafka - SQL 引擎分享 1.概述 大多数情况下，我们使用 Kafka 只是作为消息处理。在有些情况下，我们需要多次读取 Kafka 集群中的数据。当然，我们可以通过调用 Kafka 的 API 来完成，但是针对不同的业务需求，我们需要去编写不同的接口，在经过编译，打包，发布等一系列流程。最 ...
分类：
数据库 时间：
2016-04-16 00:42:27
阅读次数：
286
一下是我在单位对haproxy进行日志分析的一整套流程我们一直都是处在维护es集群的配置，并没有把一整套流程包括收集端的代码，全部自己搞定一次，而且线上收集日志的时候我们一般都用的logstash，但是业界很多人都说logstash不管是性能上还有稳定性上都不是很好，logstash的优点..
分类：
其他好文 时间：
2016-04-14 18:11:11
阅读次数：
1629
原文：http://kafka.apache.org/documentation.html############################# System ############################# #唯一标识在集群中的ID，要求是正数。 broker.id=0 #服务端口，... ...
分类：
其他好文 时间：
2016-04-14 15:56:16
阅读次数：
205
最初的错误：DynamicBrokersReader[ERROR]Node/brokers/ids/0doesnotexist设置：BrokerHostsbrokerHosts=newZkHosts(zks,"/kafka/brokers");然后就是如下错误：2016-04-13T15:07:10.657+0800b.s.util[ERROR]Asyncloopdied!
java.lang.RuntimeException:java.lang.RuntimeExcept..
分类：
其他好文 时间：
2016-04-13 21:05:07
阅读次数：
1186
Producer.javapackagecom.favccxx.isoft.favkafka;
importjava.util.Properties;
importorg.apache.kafka.clients.producer.KafkaProducer;
importorg.apache.kafka.clients.producer.Producer;
importorg.apache.kafka.clients.producer.ProducerRecord;
importorg.slf4j.Logg..
分类：
其他好文 时间：
2016-04-13 20:55:13
阅读次数：
156
此文是rocketmq作者vintage.wang所写，对于每项对比，后面都增加了我的观点，有不对的地方，请各位指出。 淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Li ...
分类：
其他好文 时间：
2016-04-13 14:41:38
阅读次数：
630
一个Topic的多个分区,被分布在kafka集群中的多个server上。每一个分区都有一个server为"leader";leader负责全部的读写操作,假设leader失效,那么将会有其它follower来接管(成为新的leader);follower仅仅是单调的和leader 跟进,同步消息就可 ...
分类：
其他好文 时间：
2016-04-13 11:12:24
阅读次数：
197
一、消息队列概述 消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。 目前在生产环境，使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，Roc ...
分类：
Web程序 时间：
2016-04-13 01:56:52
阅读次数：
240
1.启动Zookeeper服务器./zookeeper-server-start.sh/opt/cx/kafka_2.11-0.9.0.1/config/zookeeper.properties2.修改broker-1，broker-2配置broker.id=1
listeners=PLAINTEXT://:9093
#Theportthesocketserverlistenson
port=9093
log.dirs=/opt/cx/kafka/kafka-logs-1broker.id..
分类：
其他好文 时间：
2016-04-12 17:43:58
阅读次数：
601
最近在调研一款神器——IFTTT，发现这个应用用了不少高端的技术，比如说：Docker、微服务架构、Kafka、Amazon云服务、Elasticsearch、机器学习、数据挖掘等。下面开始介绍。
IFTTT简介
各种各样的互联网服务如社交、相册、云存储、笔记、邮箱等等都在不同程度上融入了人类的工作与日常生活，但是不同的服务之间往往互不相干，以至于我们的信息都被碎片化放在了不同的地方。正是IF...
分类：
其他好文 时间：
2016-04-12 11:13:59
阅读次数：
220
