Spark1.3中新增DirectStream处理Kafka的消息。使用方法如下：KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topicsSet)ssc:S...
分类：
其他好文 时间：
2015-05-05 18:20:40
阅读次数：
200
介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？首先让我们看几个基本的消息系统术语：Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并...
分类：
其他好文 时间：
2015-05-05 16:18:58
阅读次数：
158
Ubuntu 下的 Crontab 日志功能不是自动开启的。开启日志功能的步骤是：① 修改rsyslogsudo vim /etc/rsyslog.d/50-default.conf找到：#cron.* /var/log/cron.log去掉前面的 ...
分类：
系统相关 时间：
2015-05-05 15:56:25
阅读次数：
349
org.apache.flume.source.SpoolDirectorySource是flume的一个经常使用的source，这个源支持从磁盘中某目录获取文件数据。不同于其它异步源，这个源可以避免重新启动或者发送失败后数据丢失。flume可以监控目录，当出现新文件时会读取该文件并获取数据...
分类：
编程语言 时间：
2015-05-05 12:21:04
阅读次数：
468
Kafka 分布式消息队列 类似产品有JBoss、MQ一、由Linkedln 开源，使用scala开发，有如下几个特点：（1）高吞吐（2）分布式（3）支持多语言客户端 （C++、Java）二、组成:客户端是 producer 和 consumer，提供一些API，服务器端是Broker，客户端提供可...
分类：
其他好文 时间：
2015-05-04 23:45:03
阅读次数：
194
Flume-ngFlume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume的文档可以看http://flume.apache.org/FlumeUserGuide.html官方的英文文档 介绍的比较全面。 不过这里写写自己的见解这个是flume的架构图从上图可以看到几个名词...
分类：
Web程序 时间：
2015-05-02 01:01:18
阅读次数：
348
kafka采用了一些非主流（unconventional）并经过实践的设计使其高效和可扩展。在实际使用中kafka显示出了相对于常见流行的消息系统的优越性。并且每天能够处理上百GB的新的数据。类似收集实时数据来获得查询、推荐、广告方感兴趣的内容时，需要计算大量细粒度的点击率，还包括那些没有点击的页面...
分类：
其他好文 时间：
2015-05-01 23:52:47
阅读次数：
150
1.概述 今天补充一篇关于Flume的博客，前面在讲解高可用的Hadoop平台的时候遗漏了这篇，本篇博客为大家讲述以下内容：Flume NG简述单点Flume NG搭建、运行高可用Flume NG搭建Failover测试截图预览 下面开始今天的博客介绍。2.Flume NG简述 Flume N...
分类：
Web程序 时间：
2015-04-30 15:35:03
阅读次数：
230
用户行为数据的收集无疑是构建推荐系统的先决条件，而Apache基金会下的Flume项目正是为分布式的日志收集量身打造的，本文是flume基本用法的调研笔记。
本文所用的Flume版本为目前最新版的ver1.5.2，它属于Flume-NG，在系统架构上与Flume-OG有所区别，二者的不同可以参考FlumeWiki文档的说明。
1. Flume是什么
Flume是Apache基金会下的一个开源...
分类：
Web程序 时间：
2015-04-29 19:50:05
阅读次数：
356
上篇笔记对Flume的使用场景和系统架构做了介绍，本篇笔记以实例说明Flume的配置方法。下面开始正文。
1. Flume使用实例
1.1 配置
Flume agent的3个组件及其拓扑关系是在配置文件中指定的，总的原则是必须列出source/channel/sink的name/type等重要的配置项，并通过channel将source(s)和sink(s)连接起来，此外，1个source可...
分类：
Web程序 时间：
2015-04-29 19:49:33
阅读次数：
223
