分库分表之第五篇 9.案例 9.1.需求描述 9.2.数据库设计 9.3.环境说明 9.4.环境准备 9.4.1.mysql主从同步（windows） 9.4.2.初始化数据库 9.5.实现步骤 9.5.1搭建maven工程 9.5.2 分片配置 9.5.3 添加商品 9.5.4 查询商品 9.5. ...
分类：
其他好文 时间：
2020-01-01 11:39:01
阅读次数：
124
总结一下大文件分片上传和断点续传的问题。因为文件过大（比如1G以上），必须要考虑上传过程网络中断的情况。http的网络请求中本身就已经具备了分片上传功能，当传输的文件比较大时，http协议自动会将文件切片（分块），但这不是我们现在说的重点，我们要做的事是保证在网络中断后1G的文件已上传的那部分在下次 ...
分类：
Web程序 时间：
2019-12-31 14:26:37
阅读次数：
219
核心原理： 该项目核心就是文件分块上传。前后端要高度配合，需要双方约定好一些数据，才能完成大文件分块，我们在项目中要重点解决的以下问题。 * 如何分片； * 如何合成一个文件； * 中断了从哪个分片开始。 如何分，利用强大的js库，来减轻我们的工作，市场上已经能有关于大文件分块的轮子，虽然程序员的天 ...
分类：
Web程序 时间：
2019-12-31 12:29:07
阅读次数：
104
最近遇见一个需要上传百兆大文件的需求，调研了七牛和腾讯云的切片分段上传功能，因此在此整理前端大文件上传相关功能的实现。 在某些业务中，大文件上传是一个比较重要的交互场景，如上传入库比较大的Excel表格数据、上传影音文件等。如果文件体积比较大，或者网络条件不好时，上传的时间会比较长（要传输更多的报文 ...
分类：
Web程序 时间：
2019-12-31 10:59:50
阅读次数：
132
1 背景 用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种 ...
分类：
Web程序 时间：
2019-12-31 10:38:04
阅读次数：
88
JAVA在程序运行时，在内存中划分5片空间进行数据的存储。分别是：1：寄存器。2：本地方法区。3：方法区。4：栈。5：堆。 基本，栈stack和堆heap这两个概念很重要，不了解清楚，后面就不用学了。 以下是这几天栈和堆的学习记录和心得。得些记录下来。以后有学到新的，会慢慢补充。 一、先说一下最基本 ...
分类：
编程语言 时间：
2019-12-30 19:43:14
阅读次数：
80
核心原理： 该项目核心就是文件分块上传。前后端要高度配合，需要双方约定好一些数据，才能完成大文件分块，我们在项目中要重点解决的以下问题。 * 如何分片； * 如何合成一个文件； * 中断了从哪个分片开始。 如何分，利用强大的js库，来减轻我们的工作，市场上已经能有关于大文件分块的轮子，虽然程序员的天 ...
分类：
Web程序 时间：
2019-12-30 19:23:45
阅读次数：
91
一、 功能性需求与非功能性需求 要求操作便利，一次选择多个文件和文件夹进行上传；支持PC端全平台操作系统，Windows,Linux,Mac 支持文件和文件夹的批量下载，断点续传。刷新页面后继续传输。关闭浏览器后保留进度信息。 支持文件夹批量上传下载，服务器端保留文件夹层级结构，服务器端文件夹层级结 ...
分类：
Web程序 时间：
2019-12-30 15:56:30
阅读次数：
100
Reindex官方文档 https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-reindex.html Reindex简介 5.X版本后新增Reindex。Reindex可以直接在Elasticsearch集群里面对 ...
分类：
其他好文 时间：
2019-12-29 18:36:53
阅读次数：
519
1.打开putty，输入： source /opt/software/impi/mpivars.sh （注意：只有source后边是有空格，其他的没有空格） mpirun -np 4 lmp_mpi < elastic.in > elastic.out &（计算文件名，如：mmt422.in） (4 ...
分类：
系统相关 时间：
2019-12-29 00:54:36
阅读次数：
106
