一、KafkaSink 1、按流内容分发到对应topic，隔天自动切换 在flink自带的kafka sink实现里，只支持写到固定topic，而我们的kafka2kafka日志处理逻辑要求消息要按照ds字段值写入到对应topic，topic名前缀相同，后面跟ds字段值，需要进行改造 具体实现思路如 ...
分类：
其他好文 时间：
2020-04-22 19:44:07
阅读次数：
183
本章介绍了log4js的基本使用，并给出了常用功能的使用示例。
分类：
其他好文 时间：
2020-04-20 23:33:45
阅读次数：
62
现状 Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。 即使是普通的服务器，Kafka也可以轻松支持每秒百万级的写入请求，超过了大部分的消息中间件，这种特性也使得Kafka在日志处理等海量数据场景广 ...
分类：
其他好文 时间：
2020-04-17 20:02:10
阅读次数：
58
一、定义一个自己的MyLog类二、使用rootlogging在其他模块需要打印日志只需要引入该模块，再引入logging模块即可使用
分类：
其他好文 时间：
2020-04-10 09:16:33
阅读次数：
78
一: mysql主从复制大体流程 1. master会将变动记录到二进制日志里面 2. master有一个i/o将二进制日志发送到slave 3. slave有一个i/o线程把master发送来的二进制写入到relay日志里面 4. slave有一个SQL线程, 按照relay日志处理slave的数 ...
分类：
数据库 时间：
2020-04-02 16:10:00
阅读次数：
84
MySQL数据库的主从复制方案，和使用scp/rsync等命令进行的文件级别复制类似，都是数据的远程传输，只不过MySQL的主从复制是其自带的功能，无需借助第三方工具，而且，MySQL的主从复制并不是数据库磁盘上的文件直接拷贝，而是通过逻辑的binlog日志复制到要同步的服务器本地，然后由本地的线程 ...
分类：
数据库 时间：
2020-03-27 01:02:26
阅读次数：
81
一、原理 mysql主从配置的流程大体如图： 1）master会将变动记录到二进制日志里面； 2）master有一个I/O线程将二进制日志发送到slave; 3) slave有一个I/O线程把master发送的二进制写入到relay日志里面； 4）slave有一个SQL线程，按照relay日志处理s ...
分类：
数据库 时间：
2020-03-17 19:12:10
阅读次数：
82
参考：https://www.sohu.com/a/116373099_472869 log4js 是 Node.js 日志处理中的数一数二的模块。 针对投入生产的 Node.js 项目来说下面这些是不可少的： 日志分级 日志分类 日志落盘 本文将会给你一个 log4js 的全面介绍，让你可以在项目 ...
分类：
Web程序 时间：
2020-03-12 09:55:22
阅读次数：
86
在做Zuul网关日志处理的时候，有以下需求： （1）记录请求成功的日志，要求记录请求返回的结果。 遇到的问题： （1）当请求的结果事对象时，会将其转成字符串，在put进map的时候，字符串就会被转义 （2）请求的结果不一定的对象，也可能时数字或者字符串 public static String ge ...
分类：
其他好文 时间：
2020-02-27 18:58:18
阅读次数：
371
