数据积压指的是消费者因为一些外部的IO、一些比较耗时的操作（full GC--stop the world），就会造成消息在partition中一直存在得不到消费，就会产生数据积压。 所以需要监控系统（kafka的监控系统Eagle），如果出现这种情况，需要尽快处理，虽然后续的spark strea ...
分类：
其他好文 时间：
2021-07-13 17:40:18
阅读次数：
0
Tag JUnit5可以使用@Tag注解给测试类和测试方法打tag，这些tag能用来在执行时进行过滤，它跟group有点类似。 tag应该遵循以下规则： 不能为null或者为空。 不能包含空格。 不能包含ISO控制字符。 不能包含保留字符：, ( ) & | ! 示例代码： import org.j ...
分类：
其他好文 时间：
2021-07-12 18:17:31
阅读次数：
0
一、Linux上安装scrapyd 1. linux下安装python3 可参考我之前博文：https://www.cnblogs.com/Liu928011/p/14864190.html 2. 安装scrapyd并配置软链接 安装scrapyd：pip3 install scrapyd 配置软链 ...
分类：
其他好文 时间：
2021-07-12 18:17:10
阅读次数：
0
为了提高编写代码的速度，以及方面程度，需要知道一些常用的快捷键。 最常用的是： 1.ctrl+c 复制 2.ctrl+d 快速复制上行的内容至下一行 3.Ctrl+shift+n 通过文件名快速查找工程内的文件 4.ctrl +a 全选 5.Ctrl+alt+l 调整代码格式 6.Alt+enter ...
分类：
其他好文 时间：
2021-07-12 18:15:23
阅读次数：
0
本文详解同步、异步、阻塞、非阻塞，以及IO与这四者的关联，毕竟我当初刚认识这几个名词的时候也是一脸懵。 🔥1.同步阻塞、同步非阻塞、异步阻塞、异步非阻塞 1.同步 同步就是多个事物不能同时工作，只能依次排队进行 2.异步 多个事物可以同时工作，不用依次进行 3.阻塞 线程需要停止等待 4.非阻塞 ...
分类：
其他好文 时间：
2021-07-12 18:13:04
阅读次数：
0
在使用MapReduce的小测试的时候，Driver类启动，或报下面的错误 log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j: ...
分类：
编程语言 时间：
2021-07-12 18:06:41
阅读次数：
0
Socket是应用层与TCP/IP协议族通信的中间软件抽象层，它是一组接口。即Socket提供了操作上述特殊文件的接口，使用这些接口可以实现网络编程。 Socket通信流程图 TCP（Transmission Control Protocol，传输控制协议）是面向连接的协议，在正式通信之前必须建立起 ...
分类：
编程语言 时间：
2021-07-12 18:03:46
阅读次数：
0
linux基础命令 linux内核及发行版 linux内核是操作系统内部操作和控制硬件设备的核心程序。 linux发行版是linux内核与各种常用软件的组合产品，通俗的来说就是我们常说的linux操作系统。 常用的linux发行版： Ubuntu CentOS Redhat 通常说的linux是li ...
分类：
系统相关 时间：
2021-07-12 18:03:00
阅读次数：
0
(kotlin-生成jni头文件) 问题 最近在用kotlin写jni，但是生成头文件的时候遇到了些问题。 首先 javah 在java >= 1.9 就被取消用javac -h代替，但是javac对kotlin不适用，kotlinc也没有 -h 这个生成头文件的选项。 解决方法 在stackove ...
分类：
其他好文 时间：
2021-07-12 18:01:56
阅读次数：
0
