核心原理： 该项目核心就是文件分块上传。前后端要高度配合，需要双方约定好一些数据，才能完成大文件分块，我们在项目中要重点解决的以下问题。 * 如何分片； * 如何合成一个文件； * 中断了从哪个分片开始。 如何分，利用强大的js库，来减轻我们的工作，市场上已经能有关于大文件分块的轮子，虽然程序员的天 ...
分类：
Web程序 时间：
2020-01-18 12:57:33
阅读次数：
110
总结一下大文件分片上传和断点续传的问题。因为文件过大（比如1G以上），必须要考虑上传过程网络中断的情况。http的网络请求中本身就已经具备了分片上传功能，当传输的文件比较大时，http协议自动会将文件切片（分块），但这不是我们现在说的重点，我们要做的事是保证在网络中断后1G的文件已上传的那部分在下次 ...
分类：
Web程序 时间：
2020-01-18 12:52:43
阅读次数：
114
前段时间做视频上传业务，通过网页上传视频到服务器。 视频大小 小则几十M，大则 1G+，以一般的HTTP请求发送数据的方式的话，会遇到的问题：1，文件过大，超出服务端的请求大小限制；2，请求时间过长，请求超时；3，传输中断，必须重新上传导致前功尽弃； 解决方案： 1，修改服务端上传的限制配置；Ngi ...
分类：
Web程序 时间：
2020-01-18 11:06:41
阅读次数：
98
前言 布尔查询是最常见的组合查询，根据子查询的规则，只有当文档满足所有子查询条件时，Elastic Search 引擎才会将结果返回。布尔查询支持的子查询条件共4种： must(and) should(or) must_not(not) filter 准备数据 must 现在我们使用布尔查询所有 属 ...
分类：
其他好文 时间：
2020-01-18 01:31:20
阅读次数：
116
前言 启动一个节点和kibana 接下来的一切操作都在 中`Dev Tools Console`完成。 创建一篇文档。 现在，我们试图插入插入数据。 PUT表示创建命令，虽然命令可以小写，但我们推荐大写。以RESTFul 风格返回结果。 返回结果的信息如下： 查询所有索引 现在学习一条命令 展示当前 ...
分类：
其他好文 时间：
2020-01-18 01:03:39
阅读次数：
93
下载： 华为国内镜像地址：https://mirrors.huaweicloud.com/ 官方地址：https://www.elastic.co/cn/downloads/kibana 本次安装用的华为的，下载速度快 安装： 用户：es useradd es 解压目录：/usr/local/kib ...
分类：
其他好文 时间：
2020-01-17 21:12:29
阅读次数：
122
众所皆知，web上传大文件，一直是一个痛。上传文件大小限制，页面响应时间超时.这些都是web开发所必须直面的。 本文给出的解决方案是：前端实现数据流分片长传，后面接收完毕后合并文件的思路。 实现文件夹上传，要求：服务端保留层级结构，支持10w级别的文件夹上传。 大文件上传及断点续传，要求：支持50G ...
分类：
Web程序 时间：
2020-01-17 18:48:39
阅读次数：
141
1. 背景 线上某集群峰值TPS超过100万/秒左右(主要为写流量，读流量很低)，峰值tps几乎已经到达集群上限，同时平均时延也超过100ms，随着读写流量的进一步增加，时延抖动严重影响业务可用性。该集群采用mongodb天然的分片模式架构，数据均衡的分布于各个分片中，添加片键启用分片功能后实现完美 ...
分类：
数据库 时间：
2020-01-16 16:06:23
阅读次数：
108
核心原理： 该项目核心就是文件分块上传。前后端要高度配合，需要双方约定好一些数据，才能完成大文件分块，我们在项目中要重点解决的以下问题。 * 如何分片； * 如何合成一个文件； * 中断了从哪个分片开始。 如何分，利用强大的js库，来减轻我们的工作，市场上已经能有关于大文件分块的轮子，虽然程序员的天 ...
分类：
编程语言 时间：
2020-01-16 12:23:39
阅读次数：
94
需求：项目要支持大文件上传功能，经过讨论，初步将文件上传大小控制在500M内，因此自己需要在项目中进行文件上传部分的调整和配置，自己将大小都以501M来进行限制。 第一步： 前端修改 由于项目使用的是BJUI前端框架，并没有使用框架本身的文件上传控件，而使用的基于jQuery的Uploadify文件 ...
分类：
Web程序 时间：
2020-01-15 19:12:45
阅读次数：
79
