RabbitMQ和kafka从几个角度简单的对比 业界对于消息的传递有多种方案和产品，本文就比较有代表性的两个MQ(rabbitMQ,kafka)进行阐述和做简单的对比， 1）应用场景 RabbitMQ,遵循AMQP协议，由内在高并发的erlanng语...
分类：
其他好文 时间：
2015-09-11 19:28:56
阅读次数：
400
jdk:1.6.0_2564位kafka:2.9.2-0.8.2.1kafka 官方下载地址http://apache.fayea.com/kafka/0.8.2.1/kafka_2.9.2-0.8.2.1.tgztar-zxvfkafka_2.9.2-0.8.2.1.tgz-C/usr/local...
分类：
其他好文 时间：
2015-09-11 16:02:36
阅读次数：
500
简介 Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。 Apache Kafka与传统消...
分类：
Web程序 时间：
2015-09-11 12:57:27
阅读次数：
253
Flume的安装与配置一、 资源下载资源地址：http://flume.apache.org/download.html程序地址：http://apache.fayea.com/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz源码地址：http://mirrors....
分类：
Web程序 时间：
2015-09-10 17:19:06
阅读次数：
244
Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets，从数据源获取数据之后，可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理。最后还可以将处理结果存储到文件系统，数据库和现场仪表盘。...
分类：
其他好文 时间：
2015-09-10 11:10:49
阅读次数：
212
Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets，从数据源获取数据之后，可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理。最后还可以将处理结果存储到文件系统，数据库和现场仪表盘。...
分类：
其他好文 时间：
2015-09-10 11:10:31
阅读次数：
169
在flume中原有的sink的hdfs接口中只有根据写入多少秒存储关闭文档或者写入多少量存储关闭文档,饼不能根据实际需求来关闭文档,所以需要自己改写代码来满足我们的要求.例如我们需要他在每天到了0点以后关闭上一日的文档,并在写一个新的文档出来,首先我找到源码在flume的源码中一..
分类：
Web程序 时间：
2015-09-09 19:47:15
阅读次数：
499
开一个监听持续间断的获取某个日志的续写的信息,并传入sink中,在flume默认的组建中并没用这样的功能,只能自己根据业务就行开发,下面flume获得source信息概要:首先我们在获得持续输出的日志并创建一个文件中记录我们获取这个日志的信息变化的位置,根据这个位置文件来完成,我们需..
分类：
Web程序 时间：
2015-09-09 19:47:11
阅读次数：
214
续上面获得资源后我们要将转换为相应的日志,落在统一的服务器中.在flume中的对file操作的sink只有RollingFileSink但这个对我们来一点用都没有,packagecom.ule.flume.sink.file;
importjava.io.BufferedOutputStream;
importjava.io.File;
importjava.io.FileOutputStream;
imp..
分类：
Web程序 时间：
2015-09-09 19:44:35
阅读次数：
191
起因 最近公司RabbitMQ的集群出了点问题，然后有些亲就说RabbitMQ慢且不好用，是一个瓶颈，不如换成Kafka。而我本人，使用RabbitMQ有一点久了，认为这个事情应当辩证的去看。所以就在没事的时候简单的看了看Rabbi...
分类：
其他好文 时间：
2015-09-06 18:42:18
阅读次数：
670
