高级操作 讲解关于mongodb的高级操作，包括聚合、主从复制、分片、备份与恢复、MR 完成python与mongodb的交互 2.1、聚合 aggregate 聚合(aggregate)主要用于计算数据，类似sql中的sum()、avg() 语法 db.集合名称.aggregate([{管道:{表 ...
分类：
数据库 时间：
2020-01-29 10:59:28
阅读次数：
116
以3个节点为例子 1. 分别配置三个配置文件，文件目录，日志目录 systemLog: verbosity: 1 destination: file path: "/root/software/mongod_replication/replication2/logs/mongod.log" logA ...
分类：
数据库 时间：
2020-01-28 13:53:23
阅读次数：
83
Sharding Jdbc 源码分析 [toc] __Apache Sharding Sphere 系列目录()__ 在看 Sharding Jdbc 源码之前，强烈建议先阅读一直官网的文章： 1. "Apache Sharding Jdbc 数据分片" JDBC 调用过程如下：APP ORM JD ...
分类：
数据库 时间：
2020-01-26 19:11:42
阅读次数：
160
Elasticsearch 版本：6.4.0 一、疑问 在项目中后期，如果想调整索引的 Mapping 结构，比如将 ik_smart 修改为 ik_max_word 或者 增加分片数量 等，但 Elasticsearch 不允许这样修改呀，怎么办？ 常规 解决方法： <! more 根据最新的 M ...
分类：
移动开发 时间：
2020-01-26 15:51:50
阅读次数：
71
冷热数据分离业务不断地在增长，集群分片中的数据也会随着时间的推移而增加，其中有相当一部分的数据是很少被使用的，例如几年前的订单记录、交易记录、商品评论等数据。这部分数据就称之为冷数据，与之相反经常被使用的数据则称之为热数据。我们都知道当MySQL的单表数据量超过两千万时，读写性能就会急剧下降。如果其中存储的大部分都是高价值的热数据还好说，可以花费资金去扩展集群分片，因为这些数据可以带来收益。但如果
分类：
其他好文 时间：
2020-01-24 10:54:08
阅读次数：
100
1. 封装分片上传组件，优化问题 2. 封装编辑树的组件 标准的npm组件，能够让别人用 3. 阅读immer源码，做详细分析 4. 分享 react fiber ， react hook 5. typeScript 深入 6. 数据结构加强，算法刷题，总结，提高编码能力 总结：多实践，多分享，多输 ...
分类：
其他好文 时间：
2020-01-23 22:57:17
阅读次数：
153
1. 避免大key 危害： 数据热点问题，集群模式在slot分片均匀情况下，会出现数据和查询倾斜情况，部分有大key的Redis节点占用内存多，QPS高 慢查询问题,服务超时 网卡带宽压力,极端情况下会打满带宽 2.使用优化 过期时间 为大key或者特定业务设置合理过期时间，避免同一时间大量过期。同 ...
分类：
其他好文 时间：
2020-01-22 13:01:58
阅读次数：
62
从物理空间概念，Elasticsearch 分布式系统会有 3 个关键点需要学习。本次总结了下面相关内容： 分布式 节点 & 集群 主分片及副本 一、Elasticsearch 分布式 Elasticsearch 分布式特性包括如下几个点： 1.1 高可用 什么是高可用？CAP 定理是分布式系统的基 ...
分类：
其他好文 时间：
2020-01-19 12:48:49
阅读次数：
88
最近遇见一个需要上传百兆大文件的需求，调研了七牛和腾讯云的切片分段上传功能，因此在此整理前端大文件上传相关功能的实现。 在某些业务中，大文件上传是一个比较重要的交互场景，如上传入库比较大的Excel表格数据、上传影音文件等。如果文件体积比较大，或者网络条件不好时，上传的时间会比较长（要传输更多的报文 ...
分类：
Web程序 时间：
2020-01-18 16:57:41
阅读次数：
141
需求：项目要支持大文件上传功能，经过讨论，初步将文件上传大小控制在500M内，因此自己需要在项目中进行文件上传部分的调整和配置，自己将大小都以501M来进行限制。 第一步： 前端修改 由于项目使用的是BJUI前端框架，并没有使用框架本身的文件上传控件，而使用的基于jQuery的Uploadify文件 ...
分类：
Web程序 时间：
2020-01-18 16:39:16
阅读次数：
104
