题记关系型数据库Mysql/Oracle增量同步Elasticsearch是持续关注的问题，也是社区、QQ群等讨论最多的问题之一。问题包含但不限于：1、Mysql如何同步到Elasticsearch?2、Logstash、kafka_connector、canal选型有什么不同，如何取舍？3、能实现同步增删改查吗？.....本文给出答案。1、Canal同步1.1canal官方已支持Mysql同步E
分类：
数据库 时间：
2020-12-15 12:28:41
阅读次数：
4
收集TCP/UDP日志 通过logstash的tcp/udp插件收集日志，通常用于在向elasticsearch日志补录丢失的部分日志，可以将丢失的日志通过一个TCP端口直接写入到elasticsearch服务器。 1.配置Logstash #进入Logstash配置文件目录 [root@redis ...
分类：
其他好文 时间：
2020-12-15 11:48:37
阅读次数：
1
1.时间值中的小数秒MySQL的TIME、DATETIME和TIMESTAMP类型的值都支持小数秒，精度高达微秒（6位）：●要定义包含小数秒部分的列，请使用语法type_name(fsp)，其中type_name是TIME、DATETIME或TIMESTAMP，fsp是小数秒精度。例如：fsp值（如果给定）必须在0到6的范围内。值为0表示不存在小数部分。如果省略，则默认精度为0。（这和标准的SQL
分类：
数据库 时间：
2020-12-14 13:11:53
阅读次数：
3
1.TIMESTAMP和DATETIME的自动初始化和更新TIMESTAMP和DATETIME列可以自动初始化和更新为当前日期和时间（即当前时间戳）。对于表中的任何TIMESTAMP或DATETIME列，可以将当前时间戳指定为默认值、自动更新值或同时指定这两个值：●当向表中插入新的记录时，如果没有为自动初始化列指定值，该列会设置为当前时间戳。●当行中任何其他列的值更改时，自动更新列将自动更新为当前
分类：
数据库 时间：
2020-12-14 13:11:38
阅读次数：
3
1.日期和时间数据类型语法用于表示时间值的日期和时间数据类型是DATE,TIME,DATETIME,TIMESTAMP和YEAR。对于TIME,DATETIME和TIMESTAMP值，MySQL支持小数秒，精度可达微秒（6位数）。要定义包含小数秒部分的列，请使用语法type_name(fsp)，其中type_name是TIME、DATETIME或TIMESTAMP，fsp是小数秒精度。例如：fsp
分类：
数据库 时间：
2020-12-14 13:11:23
阅读次数：
3
在线安装： bin/logstash-plugin install logstash-filter-json_encode 这里可能会保一个mmap 的错误 Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00 ...
分类：
Web程序 时间：
2020-12-08 13:03:23
阅读次数：
15
比如同步供应商数据： CREATE TABLE jd_unit( id varchar2(64) primary key, unit_name varchar2(500), unit_code varchar2(500), is_enable char(1), create_time timesta ...
分类：
数据库 时间：
2020-12-02 11:58:15
阅读次数：
9
{ "size": 0, "query": { "bool": { "filter": [ { "range": { "@timestamp": { "gte": 1596572166943, "lte": 1596593766943, "format": "epoch_millis" } } }, ...
分类：
其他好文 时间：
2020-12-01 12:04:43
阅读次数：
3
MySQL数据库中，常用的数据类型 类型名称 说明 int（integer） 整数类型 double 小数类型 decimal（m，d） 指定整数位与小数位长度的小数类型 date 日期类型，格式为yyyy-MM-dd，包含年月日，不包含时分秒 datetime 日期类型，格式为yyyy-MM-dd ...
分类：
数据库 时间：
2020-11-27 10:55:23
阅读次数：
13
Docker版EKL安装记录文档 拉取已下三个镜像 docker.io/logstash 7.5.2 b6518c95ed2f 6 months ago 805 MB docker.io/kibana 7.5.2 a6e894c36481 6 months ago 950 MB docker.io/ ...
分类：
其他好文 时间：
2020-11-24 12:12:14
阅读次数：
8
