Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计
Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker.
下面来看下如何简单的使用：
...
分类：
其他好文 时间：
2015-01-14 11:06:44
阅读次数：
150
典型大数据计算模式与系统
典型大数据计算模式
典型系统
大数据查询分析计算
HBase，Hive，Cassandra，Impala，Shark，Hana等
批处理计算
Hadoop MapReduce，Spark等
流式计算
Scribe，Flume，Storm，S4, Spark S...
分类：
其他好文 时间：
2015-01-13 21:33:30
阅读次数：
382
Channels are the repositories where the events are staged on a agent. Source adds the events and Sink removes it.
通道就是事件暂存的地方，source负责往通道中添加event，sink负责从通道中移出event
flume1.5.2内置的通道有：内存，文件，jdbc
1、内...
分类：
Web程序 时间：
2015-01-13 16:02:38
阅读次数：
734
多路复用技术意在可以将一个event根据配置信息发送特定的channel上。
A source instance can specify multiple channels, but a sink instance can only specify one channel.
Flume supports fanning out the flow from one source
to m...
分类：
Web程序 时间：
2015-01-13 10:29:07
阅读次数：
1361
基于上一篇文章http://blog.csdn.net/simonchi/article/details/42520193 相对比较细致的分析后，该文章将对LoadBalancingSinkProcessor源码进行选择性的重要逻辑代码进行讲解
首先读取配置，当然是重写congifure方法
public void configure(Context context) {
Preco...
分类：
数据库 时间：
2015-01-12 17:36:36
阅读次数：
239
六.基础配置阶段1.安装haproxy[root@hap~]#yuminstall-yhaproxy
[root@hap~]#cd/etc/haproxy/
[root@haphaproxy]#cphaproxy.cfg{,.bak}
[root@haphaproxy]#ls
haproxy.cfghaproxy.cfg.bak2.开启haproxy的系统日志[root@haphaproxy]#vim/etc/rsyslog.conf
$ModLoadimudp
$UDPSer..
分类：
其他好文 时间：
2015-01-12 06:56:47
阅读次数：
573
大数据实践：ODI和Twitter(二) 在前面的文章中，我们已经使用flume将数据从twitter抓取到Hive中，现在我们来看看ODI（Oracle Data Integrator）如何在HIVE表中进行逆向工程，打开HIVE模型，然后在逆向工程中选择“新的数据存储”及待逆向的对象，如下： ....
分类：
其他好文 时间：
2015-01-12 00:08:37
阅读次数：
249
Kafkais a distributed publish-subscribe messaging system. It was originally developed at LinkedIn and became an Apache project in July, 2011. Today,Ka...
分类：
Web程序 时间：
2015-01-10 23:42:50
阅读次数：
367
官方地址：http://spring.io/blog/2014/12/23/spring-xd-1-1-m2-and-1-0-3-releasedOn behalf of the Spring XD team, I am very pleased to announce the second mil...
分类：
编程语言 时间：
2015-01-10 23:41:40
阅读次数：
340
1. Add Partition ToolPartitions act as unit of parallelism. Messages of a single topic are distributed to multiple partitions that can be stored and s...
分类：
其他好文 时间：
2015-01-10 23:37:04
阅读次数：
440
