Java最新常见面试题+答案汇总1、面试题模块汇总面试题包括以下十九个模块:Java基础、容器、多线程、反射、对象拷贝、JavaWeb模块、异常、网络、设计模式、Spring/SpringMVC、SpringBoot/SpringCloud、Hibernate、Mybatis、RabbitMQ、Kafka、Zookeeper、MySql、Redis、JVM。如下图所示:可能对于初学者不需要后面的框
分类:
编程语言 时间:
2020-12-17 13:06:40
阅读次数:
7
1、ELK部署 ELK是elasticsearch、kibana、Logstash组合而成的整套解决方案,前面我们使用skywalking时候已经部署好elasticsearch(参见上一篇随笔),接下来只需要安装Logstash和kibana即可 1.1、安装kibana 前面使用的elastic ...
分类:
Web程序 时间:
2020-12-16 13:01:27
阅读次数:
10
在安装Kafka-eagle的时候遇见几个坑,在这里分享一下: 注意:版本问题,若按本文章不能解决,则着重查看版本的问题;这里只是提供解决针对问题的思路 Kafka版本:kafka_2.11-0.11.0.2 Kafka-eagle版本:kafka-eagle-bin-1.3.7 MySQL版本:5 ...
分类:
其他好文 时间:
2020-12-16 12:58:42
阅读次数:
5
本篇文章主要是记录整体调整Python数据统计分析项目规范性的过程,以及自己的一些思考。 为什么要调整? 主要是为了解决数据类程序不容易测试发现错误的现状。调整公共模块出错时抛出错误到业务层,便于报警模块上传错误信息到kafka,最后能主动发出报警邮件。以及方便加入报警之外的其他程序埋点。 调整所有 ...
分类:
编程语言 时间:
2020-12-16 12:32:52
阅读次数:
3
1、事出有因一个问题引发的国内外最牛逼的elasticsearch天团博客集合。兄弟们有玩过这个API的吗?这个suggest是干嘛作用的。死磕Elasticsearch知识星球微信群回复:如果看过wood大叔博客或者官方API,就能很快找到答案。2、Elastic中文社区1000期日报TOP30博客统计机器汇集3000+精彩人工推荐的Elastic博文,统计汇总后TOP文章来源统计如下:3、国内
分类:
其他好文 时间:
2020-12-16 12:20:52
阅读次数:
3
前言之前写过一篇《从源码分析如何优雅的使用Kafka生产者》,有生产者自然也就有消费者。建议对Kakfa还比较陌生的朋友可以先看看。就我的使用经验来说,大部分情况都是处于数据下游的消费者角色。也用Kafka消费过日均过亿的消息(不得不佩服Kakfa的设计),本文将借助我使用Kakfa消费数据的经验来聊聊如何高效的消费数据。单线程消费以之前生产者中的代码为例,事先准备好了一个Topic:data-p
分类:
其他好文 时间:
2020-12-16 12:08:05
阅读次数:
2
1. 概述 在2.x中,spark有两个用来与kafka整合的代码,版本代号为0.8和0.10,由于在0.8,kafka有两套消费者api,根据高级api得到了Receiver-based Approach,根据低级api得到了Direct Approach,而在0.10由于kafka只有一套消费者 ...
分类:
其他好文 时间:
2020-12-16 11:50:30
阅读次数:
4
一、ELK基础1、ELK简介ELK本质上是三个软件的组合,通过这三个软件的组合可以实现构建一个日志的收集、分析、展示的平台,也就是说借助于ELK可以实现把收集到的日志信息以饼图、柱形图、曲线图等直观的方式展示出来。ELK的三个组件如下:kibana:这个组件用来展示数据,用户访问的时候是访问kibanaelaticsearch简称es:用来存储数据的,kibana中所展示的数据都是来自于eslog
分类:
其他好文 时间:
2020-12-15 12:56:41
阅读次数:
7
0、题记实际业务场景中,会遇到基础数据存在Mysql中,实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。而mysql写入kafka的选型方案有:方案一:logstash_output_kafka插件。方案二:kafka_connector。方案三:debezium插件。方案四:flume。方案五:其他类似方案。其中:debezium和flume是基于mysqlbinlog实
分类:
数据库 时间:
2020-12-15 12:34:47
阅读次数:
9
题记来自Elasticsearch中文社区的问题——MySQL中表无唯一递增字段,也无唯一递增时间字段,该怎么使用logstash实现MySQL实时增量导数据到es中?logstash和kafka_connector都仅支持基于自增id或者时间戳更新的方式增量同步数据。回到问题本身:如果库表里没有相关字段,该如何处理呢?本文给出相关探讨和解决方案。1、binlog认知1.1啥是binlog?bin
分类:
数据库 时间:
2020-12-15 12:28:58
阅读次数:
5