规划、搭建过程：6个redis实例，一般会放到3台硬件服务器注：在企业规划中，一个分片的两个分到不同的物理机，防止硬件主机宕机造成的整个分片数据丢失。端口号：7000-7005 # 1。 安装集群插件 EPEL源安装ruby支持yum install ruby rubygems -y # 2. 配置 ...
分类：
数据库 时间：
2020-05-21 16:24:53
阅读次数：
62
众所皆知，web上传大文件，一直是一个痛。上传文件大小限制，页面响应时间超时.这些都是web开发所必须直面的。 本文给出的解决方案是：前端实现数据流分片长传，后面接收完毕后合并文件的思路。 实现文件夹上传，要求：服务端保留层级结构，支持10w级别的文件夹上传。 大文件上传及断点续传，要求：支持50G ...
分类：
Web程序 时间：
2020-05-19 14:34:53
阅读次数：
74
1. 查看搜索setting信息 mp_index/_settings 2. 设置分片数量 3, 修改数据刷新间隔 { "refresh_interval": "30s" # -1 关闭 } # 设置为30秒刷新频率 refresh_interval 可以在既存索引上进行动态更新。 在生产环境中，当 ...
分类：
其他好文 时间：
2020-05-18 12:09:40
阅读次数：
62
概述 Map Reduce 分布式并行编程：借助一个集群通过多台机器同时并行处理大规模数据集 1、mapreduce编程思想 核心设计两个函数：Map函数和Reduce函数 策略：分而治之，把非常庞大的数据集，切分成非常多独立的小分片，然后为每一个分片单独地启动一个map任务，最终通过多个map任务 ...
分类：
其他好文 时间：
2020-05-18 00:31:27
阅读次数：
133
ES基础： 索引（index）：逻辑存储，相当于关系型数据库的表。每个索引有一或多个分片（shard） 每个分片有多个副本（replica） 分片（shard）：单台机器无法存储大量数据，es可以将一个索引中的数据切分为多个分片（shard），分布在多台服务器上存储。有了分片（shard）就可以横向 ...
分类：
其他好文 时间：
2020-05-16 10:48:22
阅读次数：
66
[分享]浅谈分布式数据库 1、先抛出两个问题 问题一、当mysql单表数据量爆炸时，你怎么办？ 问题二、当你的数据库无法承受高强度io时你怎么办？ 2、 基本概念 2.1 谈数据库分片需要首先确定以下概念 ? 1) 单库,就是一个库 ? 2) 分片(sharding)，分片解决扩展性问题，属于水平拆 ...
分类：
数据库 时间：
2020-05-16 00:19:25
阅读次数：
94
总结一下大文件分片上传和断点续传的问题。因为文件过大（比如1G以上），必须要考虑上传过程网络中断的情况。http的网络请求中本身就已经具备了分片上传功能，当传输的文件比较大时，http协议自动会将文件切片（分块），但这不是我们现在说的重点，我们要做的事是保证在网络中断后1G的文件已上传的那部分在下次 ...
分类：
Web程序 时间：
2020-05-14 17:21:51
阅读次数：
81
核心原理： 该项目核心就是文件分块上传。前后端要高度配合，需要双方约定好一些数据，才能完成大文件分块，我们在项目中要重点解决的以下问题。 * 如何分片； * 如何合成一个文件； * 中断了从哪个分片开始。 如何分，利用强大的js库，来减轻我们的工作，市场上已经能有关于大文件分块的轮子，虽然程序员的天 ...
分类：
Web程序 时间：
2020-05-13 12:39:38
阅读次数：
61
关于HLS，上篇咱们已经讲过，它基于http协议，内容包括两部分：m3u8描述文件，ts媒体文件。它可以实现视频直播，不过直播有点延迟，延迟大小与循环体的大小有关。我们将要利用它的循环体，来实现大视频的分片下载播放。问：怎么将一个视频分片得到m3u8文件?答：利用ffmpeg工具。问：那么什么是FFmpeg呢？答：FFmpeg是一套可以用来记录、转换数字音频、视频，并且将其转化为流的开源程序。它提
分类：
其他好文 时间：
2020-05-13 09:52:08
阅读次数：
64
Dart库引入第三方库懒加载(延时加载)deferred as库分片partTOC Dart库 Dart中的库主要有三种: 1、我们自定义的库 import 'lib/xxx.dart; import '../../part-two/chapter3/enum.dart'; 2、系统内置库 impo... ...
分类：
其他好文 时间：
2020-05-12 18:50:32
阅读次数：
255
