系统版本 centos 7.0 elk:6.7.2 jdk:1.8.0 1.elk结构 filebeat==>redis==>logstash==>es(群集)==>kibana 2.安装es群集 vim /etc/hosts 172.16.206.110 node-1 172.16.206.114 ...
分类：
其他好文 时间：
2020-09-18 00:56:30
阅读次数：
33
现如今，Kafka已不再是一个单纯的消息队列系统。Kafka是一个分布式的流处理平台，被越来越多的公司使用，Kafka可以被用于高性能的数据管道，流处理分析，数据集成等场景。本文分享总结了几个Kafka常见的面试问题，希望对你有所帮助。主要包括以下内容：Kafka是如何保障数据不丢失的？如何解决Kafka数据丢失问题？Kafka可以保障永久不丢失数据吗？如何保障Kafka中的消息是有序的？如何确定
分类：
其他好文 时间：
2020-09-17 23:41:36
阅读次数：
33
ELK是一种日志收集，分析的组合软件。ELK/EFK的组成部分，分别是：elasticsearch,logstash,kibanaelasticsearch(简称es数据库)：负责数据的存储，数据的分析，数据的搜索，是基于luncene做的二次开发。（es数据库是非关系型数据库）logstash：负责客户端日志收集工具，替代工具。（filebeat）kibana：负责数据的展示，查询。
分类：
其他好文 时间：
2020-09-17 22:03:38
阅读次数：
37
CSDN：程序员小羊 微信公众号：程序员小羊 1、Kafka 是什么 Kafka 是一种高吞吐量、分布式、基于发布/订阅的消息系统，最初由 LinkedIn 公司开发，使用Scala 语言编写，目前是 Apache 的开源项目。 broker： Kafka 服务器，负责消息存储和转发 topic：消 ...
分类：
其他好文 时间：
2020-09-17 21:42:29
阅读次数：
32
最近工作中呢，频频用到消息中心，包括异步转同步的功能，分布式收集日志信息等功能，在面试中也常会问到候选人关于消息中心的知识点，但大多数程序员，尤其是工作两三年的，虽然平时工作中都有用到消息中心，但都总是不能够说明白其中的原理，于是觉得有必要把消息中心作为一个篇章，专门进行总结梳理一番~看的时候，建议大家不妨先看看问题，自己先尝试回答一下，再看答案。看看自己掌握得如何了那准备好了的话，我们就要开始啦啊~
分类：
其他好文 时间：
2020-09-17 20:18:18
阅读次数：
21
今天介绍用 Flink 读取Kafka生成的数据，并进行汇总的案例 第一步：环境准备，kafka，flink，zookeeper。我这边是用的CDH环境，kafka跟zookeeper 都安装完毕，并测试可以正常使用 第二步：用kafka创建一个生产者进行消息生产 ./kafka-console-p ...
分类：
其他好文 时间：
2020-09-17 18:33:12
阅读次数：
26
1.概述 最近有同学留言咨询，Flink消费Kafka的一些问题，今天笔者将用一个小案例来为大家介绍如何将Kafka中的数据，通过Flink任务来消费并存储到HDFS上。 2.内容 这里举个消费Kafka的数据的场景。比如，电商平台、游戏平台产生的用户数据，入库到Kafka中的Topic进行存储，然 ...
分类：
其他好文 时间：
2020-09-17 17:38:24
阅读次数：
37
文章来源：https://zhuanlan.zhihu.com/p/121597412 本文仅供学术交流，如有侵权，请留言联系小编进行删除。 1、 请说明什么是Apache Kafka？ Apache Kafka是由Apache开发的一种发布订阅消息系统，它是一个分布式的、分区的和重复的日志服务。 ...
分类：
其他好文 时间：
2020-09-17 17:15:09
阅读次数：
32
前言Log4j2是Log4j的进化版本，并提供了许多Logback可用的改进，同时解决了Logback体系结构中的一些固有问题。而且日志处理中我们会用到kafka作为日志管道。而kafka客户端依赖与Logback的兼容不是很完美，你可以选择排除依赖冲突或者使用Log4j2。排除Logback依赖SpringBoot2.x默认使用Logback日志框架，要使用Log4j2必须先排除Logback。
分类：
编程语言 时间：
2020-09-17 15:59:50
阅读次数：
29
1.kafka是一个分布式的消息队列，缓存系统，消息的发布和订阅系统。 2.始于Linkedin公司，开源于apache。 3.包含生产者，消费者，broker。 4.每秒支持百万消息处理。 5.支持多个生成者，多个消费者，多个broker 6.生成者产生数据，按topic分类数据，对数据进行分区， ...
分类：
其他好文 时间：
2020-09-17 13:42:05
阅读次数：
36
