最近遇见一个需要上传超大大文件的需求，调研了七牛和腾讯云的切片分段上传功能，因此在此整理前端大文件上传相关功能的实现。 在某些业务中，大文件上传是一个比较重要的交互场景，如上传入库比较大的Excel表格数据、上传影音文件等。如果文件体积比较大，或者网络条件不好时，上传的时间会比较长（要传输更多的报文 ...
分类：
Web程序 时间：
2020-11-18 12:30:43
阅读次数：
18
RD：单库数据量太大，数据库扛不住了，我要申请一个数据库从库，读写分离。DBA：数据量多少？RD：5000w左右。DBA：读写吞吐量呢？RD：读QPS约200，写QPS约30左右。上周在公司听到两个技术同学讨论，感觉对读写分离解决什么问题没有弄清楚，有些奔溃。另，对于互联网某些业务场景，并不是很喜欢数据库读写分离架构，一些浅见见文末。一、读写分离什么是数据库读写分离？答：一主多从，读写分离，主动同
分类：
数据库 时间：
2020-11-17 13:03:37
阅读次数：
27
1.分片内部基本结构 在一个分片中（Lucene），数据（数据原文和倒排索引）以段为单位存储，只有成为段的数据才能被检索。 因为文档先被缓存在内存中，创建倒排索引和其他索引结构之后才会成为段，才能被检索 就像下图中文档先被写入内存，为文档构建一系列索引之后成为段，并且写入磁盘，只有段才是 Searc ...
分类：
Web程序 时间：
2020-11-17 12:23:50
阅读次数：
17
环境：tidb4.0、centos7 1、tidb操作停止启动、重启 tiup cluster stop tidb tiup cluster start tidb tiup cluster restart tidb 2、tidb查看参数配置sql命令 SHOW CONFIG WHERE type = ...
分类：
数据库 时间：
2020-11-16 13:14:28
阅读次数：
11
mongodb 官方的go驱动包 go.mongodb.org/mongo-driver 使用起来比较繁琐，最近对其进行了二次封装 github地址：https://github.com/w3liu/go-common/tree/master/store/mongo测试用例如下： func Test ...
分类：
数据库 时间：
2020-11-13 13:16:09
阅读次数：
40
【转】 springboot整合redis-sentinel支持Cache注解 一、前提 已经存在一个redis-sentinel集群，两个哨兵分别如下： /home/redis-sentinel-cluster/sentinel-1.conf port 26379 dir "/data" sent ...
分类：
编程语言 时间：
2020-11-12 14:17:04
阅读次数：
12
查找admin集合下前10条数据： db.admin.find().limit(10); 插入数据 > post={table: "activityzones", ... fields: [ ... { ... name: "_id", ... type: "ObjectId", ... hidde ...
分类：
数据库 时间：
2020-11-12 13:54:07
阅读次数：
13
一、基本概念概念一：单库概念二：分片分片解决“数据量太大”这一问题，也就是通常说的“水平切分”。一旦引入分片，势必面临“数据路由”的新问题，数据到底要访问哪个库。路由规则通常有3种方法：（1）范围：range优点：简单，容易扩展。缺点：各库压力不均（新号段更活跃）。（2）哈希：hash优点：简单，数据均衡，负载均匀。缺点：迁移麻烦（2库扩3库数据要迁移）。（3）统一路由服务：router-conf
分类：
数据库 时间：
2020-11-10 11:28:38
阅读次数：
11
Single Field 单字段索引 示例文档：records { "_id": ObjectId("570c04a4ad233577f97dc459"), "score": 1034, "location": { state: "NY", city: "New York" } } 在单个字段上创建 ...
分类：
数据库 时间：
2020-11-10 10:51:59
阅读次数：
8
在你已经安装部署并允许MongoDB服务后，你必须要了解MongoDB的运行情况，并查看MongoDB的性能。这样在大流量得情况下可以很好的应对并保证MongoDB正常运作。 MongoDB中提供了mongostat 和 mongotop 两个命令来监控MongoDB的运行情况。 mongostat ...
分类：
数据库 时间：
2020-11-10 10:44:09
阅读次数：
9
