Kafka为broker,producer和consumer提供了很多的配置参数。 了解并理解这些配置参数对于我们使用kafka是非常重要的。官网配置地址： Configuration每个kafka broker中配置文件server.properties默认必须配置的属性如下： 1 broker....
分类：
其他好文 时间：
2016-01-08 00:23:57
阅读次数：
665
apache kafka参考http://kafka.apache.org/documentation.html消息队列方式：点对点：消息生产者生产消息发送到queue中，然后消息消费者从queue中取出并且消费消息。这里要注意：消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经...
分类：
其他好文 时间：
2016-01-08 00:22:22
阅读次数：
182
前言： 最近在研究spark 还有 kafka ， 想通过kafka端获取的数据，利用spark streaming进行一些计算，但搭建整个环境着实不易，故特此写下该过程，分享给大家，希望大家可以少走点弯路，能帮到大家！环境准备： 操作系统 ： ubuntu14.04 LT...
分类：
其他好文 时间：
2016-01-06 21:52:47
阅读次数：
3007
版本 0.9.2创建topicbin/kafka-topics.sh --create --topic topic_name --partition 6 --replication-factor 1 -zookeeper 10.27.100.207:2181,10.27.100.144:2181,1...
分类：
其他好文 时间：
2016-01-06 17:49:37
阅读次数：
190
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。目前属于apache的一个子项目。 一般来说，部署到服务...
分类：
Windows程序 时间：
2016-01-06 11:39:03
阅读次数：
8147
上周把安卓日志手机的客户端sdk完成跑通，这周开始调试日志服务器端。使用flume进行日志收集，然后转kafka。在测试的时候总是发现漏掉一些event，后来才知道对 channel 和 sink 的使用有误。当多个sink使用同一个channel时，event是会分流共同消耗的，而不是每个sink...
分类：
Web程序 时间：
2016-01-05 18:40:42
阅读次数：
197
编写python脚本statistic.py#!/usr/bin/python
"""pipinstallkazoo"""
"""pipinstallkafka-python"""
importtime
importthreading
fromkazoo.clientimportKazooClient
fromkafka.consumerimportKafkaConsumer
importelasticsearch
EARLYRES={}
def_get_partitions_logsize(topi..
分类：
其他好文 时间：
2016-01-04 18:26:44
阅读次数：
439
[Apache Kafka]Kafka设计在开始开发producer和consumer之前，先从设计的角度看一看Kafka。由于重度依赖JMS，且实现方式各异、对可伸缩架构的支持不够，LinkedIn开发了Kafka来实现对活动流数据和运营指标数据的监控，这些数据包括CPU、I/O使用数据、请求响应...
分类：
其他好文 时间：
2016-01-03 22:30:47
阅读次数：
297
1.配置package com.storm.storm_my.kafka;/** * * @author Peng.Li * */public class KafkaConfigApiConstant { /** * * @author 配置的key * *...
分类：
编程语言 时间：
2016-01-02 12:21:45
阅读次数：
329
