1.Spark Streaming是什么 Spark Streaming是在Spark上建立的可扩展的高吞吐量实时处理流数据的框架，数据可以是来自多种不同的源，例如kafka，Flume，Twitter，ZeroMQ或者TCP Socket等。在这个框架下，支持对流数据的各种运算，比如map，red ...
分类：
其他好文 时间：
2016-03-27 14:05:50
阅读次数：
453
我们知道storm的作用主要是进行流式计算，对于源源不断的均匀数据流流入处理是非常有效的，而现实生活中大部分场景并不是均匀的数据流，而是时而多时而少的数据流入，这种情况下显然用批量处理是不合适的，如果使用storm做实时计算的话可能因为数据拥堵而导致服务器挂掉，应对这种情况，使用kafka作为消息队
分类：
其他好文 时间：
2016-03-18 20:02:45
阅读次数：
3595
转自：http://www.cnblogs.com/fxjwind/p/4972244.html Kafka 作为 high throughput 的消息中间件，以其性能，简单和稳定性，成为当前实时流处理框架中的主流的基础组件。 当然在使用 Kafka 中也碰到不少问题，尤其是 failover 的
分类：
其他好文 时间：
2016-03-18 17:32:09
阅读次数：
301
本文转发自Jason’s Blog，原文链接 http://www.jasongj.com/2015/06/08/KafkaColumn3 本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller failover，
分类：
其他好文 时间：
2016-03-17 21:22:40
阅读次数：
302
kafka是一个高吞吐量的消息系统。隔离消息接收和处理过程（可理解为一个缓存） *发布和订阅通过zk实现，kafka设计就使用了zk broker.id 唯一，数字 host.name 唯一，填服务器 zookeeper.connect=hadoop110:2181,hadoop111:21
分类：
其他好文 时间：
2016-03-15 06:20:04
阅读次数：
139
Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下： 解耦在项目启动之初来预测将来项目会碰到什么需求，是极其困难的。消息队列在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口。这允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束 冗余
分类：
其他好文 时间：
2016-03-14 11:52:13
阅读次数：
239
一、Kafka使用背景 1. Kafka的定义 是一个分布式消息系统，由LinkedIn使用Scala编写，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道(Pipeline)的基础，具有高水平和高吞吐量。 2. ActiveMQ、RabbitMQ、Kafka 二
分类：
其他好文 时间：
2016-03-14 01:38:09
阅读次数：
130
原文链接：http://www.sjsjw.com/kf_cloud/article/020376ABA013802.asp 目的 实时监听某目录下的日志文件，如有新文件切换到新文件，并同步写入kafka，同时记录日志文件的行位置，以应对进程异常退出，能从上次的文件位置开始读取（考虑到效率，这里是每
分类：
编程语言 时间：
2016-03-11 16:57:19
阅读次数：
200
一 kafka集群扩容比较简单，机器配置一样的前提下只需要把配置文件里的brokerid改一个新的启动起来就可以。比较需要注意的是如果公司内网dns更改的不是很及时的话，需要给原有的旧机器加上新服务器的host，不然可能会产生controller服务器从zk上拿到域名但是解析不到新机器地址的情况。
分类：
其他好文 时间：
2016-03-10 18:39:15
阅读次数：
167
1. hadoop、hbase、hive、spark、strom、mapreduce、mahout、zookeeper. 2.redis、dubbo、mongodb、memcache、kafka、sqoop. 3. autofac、unity、xunit. 4.serfj restlet httpc
分类：
其他好文 时间：
2016-03-09 23:48:33
阅读次数：
171
