码迷,mamicode.com
首页 >  
搜索关键字:flume kafka topic覆盖    ( 5097个结果
日志系统之Flume采集加morphline解析
这段时间花了部分时间在处理[消息总线](https://github.com/yanghua/banyan)跟日志的对接上。这里分享一下在日志采集和日志解析中遇到的一些问题和处理方案。...
分类:Web程序   时间:2015-11-20 23:14:26    阅读次数:351
Kafka-2.11学习笔记(三)JavaApi访问kafka
欢迎访问:鲁春利的工作笔记,学习是一种信仰,让时间考验坚持的力量。Kafka底层是基于Scala语言实现的,但是也提供了Java的API接口。Java实现的消息生产者packagecom.lucl.kafka.simple; importjava.util.Properties; importkafka.javaapi.producer.Producer; importkafka.p..
分类:编程语言   时间:2015-11-20 00:18:40    阅读次数:382
flume学习(三):flume将log4j日志数据写入到hdfs(转)
原文链接:flume学习(三):flume将log4j日志数据写入到hdfs在第一篇文章中我们是将log4j的日志输出到了agent的日志文件当中。配置文件如下:[plain]view plaincopytier1.sources=source1tier1.channels=channel1tier...
分类:Web程序   时间:2015-11-19 11:21:03    阅读次数:150
python操作kafka
#coding=utf-8from pykafka import KafkaClientimport codecsimport logginglogging.basicConfig(level = logging.INFO)client = KafkaClient(hosts = "172.16.8...
分类:编程语言   时间:2015-11-18 16:11:58    阅读次数:594
Apche Kafka 的生与死 – failover 机制详解
Kafka 作为 high throughput 的消息中间件,以其性能,简单和稳定性,成为当前实时流处理框架中的主流的基础组件。当然在使用 Kafka 中也碰到不少问题,尤其是 failover 的问题,常常给大家带来不少困扰和麻烦。 所以在梳理完 kafka 源码的基础上,尽量用通俗易懂的方式,...
分类:其他好文   时间:2015-11-17 18:46:02    阅读次数:249
kafka入门:简介、使用场景、设计原理、主要配置及集群搭建(转)
问题导读:1.zookeeper在kafka的作用是什么?2.kafka中几乎不允许对消息进行“随机读写”的原因是什么?3.kafka集群consumer和producer状态信息是如何保存的?4.partitions设计的目的的根本原因是什么?一、入门 1、简介 Kafka is a dist.....
分类:其他好文   时间:2015-11-17 16:31:21    阅读次数:192
Kafka实战-Flume到Kafka (转)
原文链接:Kafka实战-Flume到Kafka1.概述 前面给大家介绍了整个Kafka项目的开发流程,今天给大家分享Kafka如何获取数据源,即Kafka生产数据。下面是今天要分享的目录:数据来源Flume到Kafka数据源加载预览 下面开始今天的分享内容。2.数据来源 Kafka生产的数据...
分类:Web程序   时间:2015-11-16 19:33:28    阅读次数:195
Flume目录
1. Flume的安装配置2. flume和kafka整合(转)
分类:Web程序   时间:2015-11-16 15:40:26    阅读次数:106
Flume的安装配置
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。一、什么是Flume? flume 作为 cloudera 开发的实时....
分类:Web程序   时间:2015-11-16 15:26:41    阅读次数:207
smartLog各组件启动命令
kafka:(./kafka-server-start.sh ../config/server.properties &)flume:(bin/flume-ng agent -n agent -c conf -f conf/flume-node -Dflume.monitoring.type=htt...
分类:其他好文   时间:2015-11-16 10:46:09    阅读次数:126
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!