分库分表中间件的高可用实践 前言 分库分表中间件在我们一年多的锤炼下,基本解决了可用性和高性能的问题(只能说基本,肯定还有隐藏的坑要填),问题自然而然的就聚焦于高可用。本文就阐述了我们在这方面做出的一些工作。 哪些高可用的问题 作为一个无状态的中间件,高可用问题并没有那么困难。但是尽量减少不可用期间 ...
分类:
其他好文 时间:
2020-09-18 02:57:04
阅读次数:
30
1. ELK架构简介 1.1 核心组成 ELK是一套开源免费且功能强大的日志分析管理系统,由Elasticsearch、Logstash、Kibana三部分组成,简称ELK。 ELK可以将系统日志、网站日志、应用系统日志等各种日志进行收集、过滤、清洗,然后进行集中存放并可用于检索、分析。 这三款软件 ...
分类:
其他好文 时间:
2020-09-18 01:22:40
阅读次数:
31
系统版本 centos 7.0 elk:6.7.2 jdk:1.8.0 1.elk结构 filebeat==>redis==>logstash==>es(群集)==>kibana 2.安装es群集 vim /etc/hosts 172.16.206.110 node-1 172.16.206.114 ...
分类:
其他好文 时间:
2020-09-18 00:56:30
阅读次数:
33
概述平常在请求服务的时候,负载均衡一般会用到随机访问,但是随机访问的缺点是负载不均衡,有的服务请求的次数多,有的少;轮询,请求分配均衡,但是如果性能好的机器,想多分配些不行,导致资源白白浪费;权重轮询,权重静态配置,不灵活。hash取模策略,如果某台机器宕机,就会导致返回服务失败。分库分表的时候采取hash取模,如果是增加机器或者是减少机器,数据迁移就会全局迁移,因为机器数据增加或者减少,导致取模
分类:
编程语言 时间:
2020-09-18 00:48:54
阅读次数:
48
MapReduce能够计算非常复杂的聚合逻辑,非常灵活,但是,MapReduce非常慢,不应该用于实时的数据分析中。MapReduce能够在多台Server上并行执行,每台Server只负责完成一部分wordload,最后将wordload发送到MasterServer上合并,计算出最终的结果集,返回客户端。MapReduce的基本思想,如下图所示:在这个例子中,我们以一个求和为例。首先执行Map
分类:
数据库 时间:
2020-09-18 00:43:16
阅读次数:
38
1.只查询A表中a、b两字段 db.A.find( {"stage":2,"workStatus":1},//第一个大括号表示查询条件 {"a":1,"b":1}//第二个大括号中字段值为1的表示要显示这些字段 ) 2.不显示a字段,其他字段全显示 db.A.find( {"stage":2,"wo ...
分类:
数据库 时间:
2020-09-17 23:02:49
阅读次数:
39
ELK是一种日志收集,分析的组合软件。ELK/EFK的组成部分,分别是:elasticsearch,logstash,kibanaelasticsearch(简称es数据库):负责数据的存储,数据的分析,数据的搜索,是基于luncene做的二次开发。(es数据库是非关系型数据库)logstash:负责客户端日志收集工具,替代工具。(filebeat)kibana:负责数据的展示,查询。
分类:
其他好文 时间:
2020-09-17 22:03:38
阅读次数:
37
input { stdin{ } elasticsearch { hosts => ["http://127.0.0.1:9200"] user => "admin" index => "*" password => "admin" #设置为true,将会提取ES文档的元数据信息,例如index、t ...
分类:
其他好文 时间:
2020-09-17 21:46:29
阅读次数:
33
在一个大型的项目中,不可避免会出现操作时间的业务,比如时间的格式化,比如时间的加减,我们一般会直接使用moment.js库来做,毕竟稳定可靠,也方便,那当我们系统只是几个简单页面,对时间的操作并不是很大,引入库文件并不是很必须的情况,我们需要时区展示怎么办?是不是可以用浏览器支持的原生方法来实现? ...
分类:
编程语言 时间:
2020-09-17 19:46:37
阅读次数:
208