特征： 持续到达，数据量大，注重数据整体价值，数据顺序可能颠倒，丢失，实时计算， 海量，分布，实时，快速部署，可靠 linked in Kafka spark streaming：微小批处理，模拟流计算，秒级响应 DStream 一系列RDD 的集合 支持批处理 创建文件流 10代表每10s启动一次 ...
分类：
其他好文 时间：
2019-11-05 18:49:38
阅读次数：
98
1.在kafka中如果不设置消费的信息的话，一个消息只能被一个group.id消费一次，而新加如的group.id则会被“消费管理”记录，并指定从当前记录的消息位置开始向后消费。如果有段时间消费者关闭了，并有发送者发送消息那么下次这个消费者启动时也会接收到，但是我们如果想要从这个topic的第一条消 ...
分类：
其他好文 时间：
2019-11-04 21:40:33
阅读次数：
104
前言在分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时间产品 RocketMQ (MetaQ的内核) 也顺利开源,得到大家的关注。 概念MQ简介MQ,Message queue,消息队列，就是指保存消息的一个容器。具体的定义这里就不类似于数据 ...
分类：
其他好文 时间：
2019-11-04 15:54:24
阅读次数：
96
Zookeeper与Kafka Kafka Kafka SocketServer是基于Java NIO开发的，采用了Reactor的模式(已被大量实践证明非常高效，在Netty和Mina中广泛使用)。Kafka Reactor的模式包含三种角色：Acceptor;Processor ；Handler ...
分类：
其他好文 时间：
2019-11-03 10:18:46
阅读次数：
98
首先，rabbitMQ是一款开源，ERlang编写的，基于AMQP协议的，消息中间件； 它可以做到：解耦、异步、削疯限流； 挂机可能造成稳定性问题；加入系统的复杂性； 如何保证rabbitMQ的高可用，搭建集群； 如何做到重复消费：确保消息唯一性，做唯一标识； 然后，kafka是apache一款分布 ...
分类：
其他好文 时间：
2019-11-02 19:35:06
阅读次数：
130
关于程序员，除了做项目来提高自身的技术之外，还有一种提升自己的专业技能就是：多！看！书！小编整理出一篇Java进阶架构师之路的核心知识，同时也是面试时面试官必问的知识点，篇章也是包括了很多知识点，其中包括了有基础知识、Java集合、JVM、多线程并发、spring原理、微服务、Netty与RPC、Kafka、日记、设计模式、Java算法、数据库、Zookeeper、分布式缓存、数据结构等等由于pd
分类：
移动开发 时间：
2019-11-02 18:09:26
阅读次数：
251
1 目的 Spark Streaming整合Flume。参考官方整合文档（http://spark.apache.org/docs/2.2.0/streaming-flume-integration.html） 2 整合方式一：基于推 2.1 基本要求 flume和spark一个work节点要在同一 ...
分类：
Web程序 时间：
2019-11-02 12:16:54
阅读次数：
119
原文强参考：https://www.cnblogs.com/shouke/p/10463377.html ...
分类：
编程语言 时间：
2019-11-01 20:26:07
阅读次数：
422
为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。本文对其进行部署配置，并安装配置kafkatool对kafka进行监控、查询 一、kafka-manager 简介 为了简化开发者和服务工程师维护Kafka ...
分类：
其他好文 时间：
2019-11-01 16:13:26
阅读次数：
88
一：kafka介绍kafka（官网地址：http://kafka.apache.org）是一种高吞吐量的分布式发布订阅的消息队列系统，具有高性能和高吞吐率。 1.1 术语介绍BrokerKafka集群包含一个或多个服务器，这种服务器被称为brokerTopic主题：每条发布到Kafka集群的消息都有 ...
分类：
其他好文 时间：
2019-11-01 13:09:11
阅读次数：
67
