1】Receiver是使用高层次的consumer Api来实现的。 receiver 接收的消息都是存储在spark Executor中的，然后spark启动jobq去处理那些消息 然而，默认情况下，这种方式会因为底层的失败丢失数据。 如果要启用高可靠机制，让数据零丢失，就必须启用spark st ...
分类：
其他好文 时间：
2020-04-20 11:59:44
阅读次数：
64
Filebeat介绍 Filebeat是本地文件的日志数据采集器，可监控日志目录或特定日志文件（tail file），并将它们转发给Elasticsearch或Logstatsh进行索引、kafka等。带有内部模块（auditd，Apache，Nginx，System和MySQL），可通过一个指定命 ...
分类：
其他好文 时间：
2020-04-20 01:30:15
阅读次数：
103
前言 "上一章" 介绍了Kafka是什么，这章就讲讲怎么搭建以及如何使用。 快速开始 "Step 1:Download the code" "Download" the 2.4.1 release and un tar it. "Step 2: Start the server" Kafka使用Zo ...
分类：
其他好文 时间：
2020-04-20 01:12:40
阅读次数：
81
将kafka和zookeeper安装包上传至/usr/local/目录下，解压，重命名 zookeeper安装 解压 tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz 重命名 mv apache-zookeeper-3.5.7-bin zookeeper 进入配 ...
分类：
其他好文 时间：
2020-04-20 01:01:59
阅读次数：
74
部署zk docker pull zookeeper docker run -d -v /data/zookeeper/zookeeperDataDir:/data -v /data/zookeeper/zookeeperDataLogDir:/datalog --name zookeeper01 ...
分类：
其他好文 时间：
2020-04-18 13:32:22
阅读次数：
57
持续更新内容涵盖 ：Java、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、Redis、MySQL、Spring、Spring Boot、Spring Cloud、RabbitMQ、Kafka、 Linux 等技术栈（滴滴滴.会持续更新哦，记得点赞、 ...
分类：
编程语言 时间：
2020-04-18 12:08:10
阅读次数：
69
现状 Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。 即使是普通的服务器，Kafka也可以轻松支持每秒百万级的写入请求，超过了大部分的消息中间件，这种特性也使得Kafka在日志处理等海量数据场景广 ...
分类：
其他好文 时间：
2020-04-17 20:02:10
阅读次数：
58
使用场景 大数据：数据量和速率激增，数据类型越来越复杂 应用开发：消息引擎，应用解耦，分布式存储，流处理 Kafka的体系结构 topic : 主题（消息的逻辑分类） 客户端： 细分为生产者（朝主题发送消息）， 消费者（读取主题的消息）； 服务端： broker (1 处理客户端发送和提供消费支持 ...
分类：
其他好文 时间：
2020-04-17 11:08:28
阅读次数：
73
一、概述1.1、简介Kafka最初是由LinkedIn公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统。ApacheKafka也是一个开源消息系统，由Scala写成；Kafka是一个分布式消息队列。Kafka对消息保存是根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafka实例组成，每
分类：
其他好文 时间：
2020-04-17 09:28:47
阅读次数：
71
前言本文收集整理了各大厂常见面试题N道，你想要的这里都有内容涵盖：Java、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、Redis、MySQL、Spring、SpringBoot、SpringCloud、RabbitMQ、Kafka、Linux等技术栈，希望大家都能找到适合自己的公司，开开心心的撸代码。目录由于题量较多，篇幅的限制，文章中的面试题
分类：
编程语言 时间：
2020-04-16 18:10:05
阅读次数：
104
