本文深入介绍Mysql Binlog的应用场景，以及如何与MQ、elasticsearch、redis等组件的保持数据最终一致。最后通过案例深入分析binlog中几乎所有event是如何产生的，作用是什么。 1 基于binlog的主从复制 Mysql 5.0以后，支持通过binary log(二进制 ...
分类：
数据库 时间：
2019-06-12 11:04:16
阅读次数：
166
ElasticSearch学习 match_all： 全部查询 GET dw_app_car_offering_price_ds/_search { "query": { "match_all": {} } } 单个查询 GET dw_app_car_offering_price_ds/_searc ...
分类：
其他好文 时间：
2019-06-12 11:01:35
阅读次数：
105
Elasticsearch容错的步骤， （1）9 shard，3 node（2）master node宕机，自动master选举，red（3）replica容错：新master将replica提升为primary shard，yellow（4）重启宕机node，master copy replica ...
分类：
其他好文 时间：
2019-06-11 12:50:51
阅读次数：
91
[2019-06-10T06:52:51,610][INFO ][logstash.outputs.elasticsearch] retrying failed action with response code: 403 ({"type"=>"cluster_block_exception", " ...
分类：
其他好文 时间：
2019-06-11 10:56:26
阅读次数：
494
ES为什么要实现集群 在单台ES服务器节点上，随着业务量的发展索引文件慢慢增多，会影响到效率和内存存储问题等。 如果使用ES集群，会将单台服务器节点的索引文件使用分片技术，分布式的存放在多个不同的物理机器上，从而可以实现高可用、容错性等。 es核心存放的是索引。 什么是分片技术 将数据拆分成多台节点 ...
分类：
其他好文 时间：
2019-06-11 01:19:54
阅读次数：
149
ELK搭建一、elasticsearch环境安装：node1和node2都装上rpm--importhttps://packages.elastic.co/GPG-KEY-elasticsearch#安装yum源cat>>/etc/yum.repos.d/elaticsearch.repo<<EOF[elasticsearch-2.x]name=Elasticsearchr
分类：
其他好文 时间：
2019-06-09 23:53:04
阅读次数：
140
Elasticsearch1.query string search1.1.搜索全部// 1. GET http://ip:9200/test/test/_search 结果： { "took": 86, # 耗费的时间：ms "timed_out": false, # 是否超时 "_shards" ...
分类：
其他好文 时间：
2019-06-09 09:17:56
阅读次数：
77
背景描述 Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。 Elasticsearch是使用Java开发，并使用Lucene作为其核心来实现所有索引和搜索的功能，但 ...
目录 ElasticSearch ElasticSearch 高度可扩展的开源全文搜索和分析引擎 快速地、近实时地对大数据进行存储、搜索和分析 用来支撑有复杂的数据搜索需求的企业级应用 特点 分布式 高可用 多类型 多API 面向文档 异步写入 近实时 基于Lucene Apache协议 ...
分类：
其他好文 时间：
2019-06-06 19:31:22
阅读次数：
95
ELK（elasticsearch、logstash、kibana）可以作为日志收集及分析的一整套系统，通过阿里的普及也有越来越多的公司在使用，使用下来功能还可以，这里整理记录一个部署手册。 为了方便，将ELK都部署在一台os里。 一、环境准备 操作系统：centos7（CentOS-7-x86_6 ...
分类：
其他好文 时间：
2019-06-06 19:26:45
阅读次数：
101
