kafka中涉及到序列化，有一个参数是在发送消息实体前边以一个序列号打头， seq = strtoull((prdcfgval+1), NULL, 10); do_seq = 1; 其中(prdcfgval+1)为读取配置中该对应参数设置的值，strtoull函数是要把一个字符串转换成(unsign ...
分类：
其他好文 时间：
2016-09-19 19:33:09
阅读次数：
258
参考 http://zqhxuyuan.github.io/2016/01/14/2016-01-14-Kafka-ISR/ http://zqhxuyuan.github.io/2016/01/13/2016-01-13-Kafka-Picture/ http://jianbeike.blogsp ...
分类：
其他好文 时间：
2016-09-17 17:53:47
阅读次数：
172
Spark Streaming Spark Streaming 是Spark为了用户实现流式计算的模型。 数据源包括Kafka,Flume,HDFS等。 DStream 离散化流(discretized stream), Spark Streaming 使用DStream作为抽象表示。是随时间推移而 ...
分类：
其他好文 时间：
2016-09-17 00:28:16
阅读次数：
229
java+hadoop+spark+hbase+scala 在/etc/profile 下面加上如下环境变量 export JAVA_HOME=/usr/java/jdk1.8.0_102export JRE_HOME=/usr/java/jdk1.8.0_102/jreexport CLASSPA ...
分类：
编程语言 时间：
2016-09-14 00:10:00
阅读次数：
532
from: http://jm.taobao.org/2016/04/01/kafka-vs-rabbitmq-vs-rocketmq-message-send-performance/ 引言 分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时 ...
分类：
其他好文 时间：
2016-09-13 23:55:43
阅读次数：
228
摘要 Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统 ...
分类：
其他好文 时间：
2016-09-13 21:58:58
阅读次数：
148
摘要 Kafka是由LinkedIn开发并开源的分布式消息系统，因其分布式及高吞吐率而被广泛使用，现已与Cloudera Hadoop，Apache Storm，Apache Spark集成。本文介绍了Kafka的创建背景，设计目标，使用消息系统的优势以及目前流行的消息系统对比。并介绍了Kafka的 ...
分类：
其他好文 时间：
2016-09-13 20:46:05
阅读次数：
242
消息队列 消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息队列，应用程序可独立地执行--它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。在分布式计算环境中，为了集成分布式应用，开发者需要对异构网络环境下的 ...
分类：
Web程序 时间：
2016-09-13 20:37:53
阅读次数：
191
kafka 是一个消息系统， 具体资料可以参考官网： BrokerKafka集群包含一个或多个服务器，这种服务器被称为broker Topic每条发布到Kafka集群的消息都有一个类别，这个类别被称为topic。（物理上不同topic的消息分开存储，逻辑上一个topic的消息虽然保存于一个或多个br ...
分类：
其他好文 时间：
2016-09-13 16:27:14
阅读次数：
119
https://engineering.linkedin.com/blog/2016/05/open-sourcing-kafka-monitor https://github.com/linkedin/kafka-monitor https://github.com/Microsoft/Avail... ...
分类：
其他好文 时间：
2016-09-13 16:04:53
阅读次数：
223
