核心原理： 该项目核心就是文件分块上传。前后端要高度配合，需要双方约定好一些数据，才能完成大文件分块，我们在项目中要重点解决的以下问题。 * 如何分片； * 如何合成一个文件； * 中断了从哪个分片开始。 如何分，利用强大的js库，来减轻我们的工作，市场上已经能有关于大文件分块的轮子，虽然程序员的天 ...
分类：
Web程序 时间：
2019-12-30 19:23:45
阅读次数：
91
一、 功能性需求与非功能性需求 要求操作便利，一次选择多个文件和文件夹进行上传；支持PC端全平台操作系统，Windows,Linux,Mac 支持文件和文件夹的批量下载，断点续传。刷新页面后继续传输。关闭浏览器后保留进度信息。 支持文件夹批量上传下载，服务器端保留文件夹层级结构，服务器端文件夹层级结 ...
分类：
Web程序 时间：
2019-12-30 15:56:30
阅读次数：
100
一,前言 与redis的联系 redis 单实例,数据在内存-读取快 鉴于雪崩击穿等问题 ->复制到集群 HA sentinel 哨兵实现高可用 不是绝对的实时同步,可能连最终一致性都算不上 集群模式 分片 完成分布式 协调分布式锁 二,zookeeper(不要把zk当做数据库用) 主从集群 主是单 ...
分类：
其他好文 时间：
2019-12-28 20:51:14
阅读次数：
96
mongo shell mongo 连接 本地 远程 带认证的方式 复制集 SSL方式 mongo shell 操作 当插入数据时会自动创建集合 在mongo第一次显示提示之前,会自动运行 目录下的 文件,如果不想加载,可以使用 参数 配置shell Date Date() 返回string new ...
分类：
系统相关 时间：
2019-12-28 16:12:00
阅读次数：
78
众所皆知，web上传大文件，一直是一个痛。上传文件大小限制，页面响应时间超时.这些都是web开发所必须直面的。 本文给出的解决方案是：前端实现数据流分片长传，后面接收完毕后合并文件的思路。 实现文件夹上传，要求：服务端保留层级结构，支持10w级别的文件夹上传。 大文件上传及断点续传，要求：支持50G ...
分类：
Web程序 时间：
2019-12-27 11:27:01
阅读次数：
107
MapReduce的工作流程 1.客户端将每个block块切片（逻辑切分），每个切片都对应一个map任务，默认一个block块对应一个切片和一个map任务，split包含的信息：分片的元数据信息，包含起始位置，长度，和所在节点列表等 2.map按行读取切片数据，组成键值对，key为当前行在源文件中的 ...
分类：
其他好文 时间：
2019-12-26 20:57:26
阅读次数：
74
最近在做一个文件上传的项目，当上传文件达到几十GB，几百GB后在文件上传99%后，需要等待非常长的时间文件才能完成上传。通过埋点打印时间，发现md5计算时间非常长。 为了校验文件传输的完整性需要在文件上传结束后校验文件的完整性，md5值就用来校验完整性，所以这一步不能少。 解决方案 通过网上查找资料 ...
分类：
其他好文 时间：
2019-12-26 13:03:02
阅读次数：
152
众所皆知，web上传大文件，一直是一个痛。上传文件大小限制，页面响应时间超时.这些都是web开发所必须直面的。 本文给出的解决方案是：前端实现数据流分片长传，后面接收完毕后合并文件的思路。 实现文件夹上传，要求：服务端保留层级结构，支持10w级别的文件夹上传。 大文件上传及断点续传，要求：支持50G ...
分类：
Web程序 时间：
2019-12-26 12:46:16
阅读次数：
398
简介 润乾报表是用于报表制作的大型企业级报表软件，核心特点在于开创性地提出了非线性报表数学模型，采用了革命性的多源关联分片、不规则分组、自由格间运算、行列对称等技术，使得复杂报表的设计简单化，以往难以实现的报表可以轻松实现，避免了大量的复杂 SQL 编写与前期数据准备，报表设计的效率提高了一个数量级 ...
分类：
Web程序 时间：
2019-12-25 12:51:32
阅读次数：
121
一、列表、元组和字符串的共同点 1.都可以通过索引得到每一个元素 2.默认索引值总是从0开始 3.可以通过分片的方法得到一个范围内的元素的集合 4.有共同的操作符（重复操作符、成员关系操作符、拼接操作符） 二、序列常见的BIF 1.list():把一个可迭代对象转化为一个列表 list本身作为一个方 ...
分类：
其他好文 时间：
2019-12-24 20:29:41
阅读次数：
212
