Redis集群是Redis提供的分布式数据库方案，集群通过分片来进行数据共享，并提供复制和故障转移。 节点 一个Redis集群通常由多个节点组成，每个节点互相关联，构成一个多个节点组成的集群。可以通过CLUSTER MEET命令完成连接各个节点的工作。 CLUSTER MEET <ip> <port ...
分类：
其他好文 时间：
2020-05-06 22:06:10
阅读次数：
85
1 背景 用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种 ...
分类：
编程语言 时间：
2020-05-06 18:02:50
阅读次数：
116
1.pulsar概述 Apache Pulsar 是灵活的发布-订阅消息系统（Flexible Pub/Sub messaging），采用分层分片架构（backed by durable log/stream storage）。 Apache Pulsar 是一个开源的分布式pub-sub消息系统， ...
分类：
其他好文 时间：
2020-05-06 17:53:05
阅读次数：
75
原文作者: xingguang 原文链接： "https://www.tiance.club/post/1182994018.html" 1．分片 分片是什么？分片就是将数据存储在多个机器上。当数据集超过单台服务器的容量，服务器的内存，磁盘IO都会有问题，即超过单台服务器的性能瓶颈。此时有两种解决方 ...
分类：
数据库 时间：
2020-05-05 12:35:19
阅读次数：
143
原文作者: xingguang 原文链接： "https://www.tiance.club/post/3134727742.html" 分片集群 1.1、概念 分片集群是将数据存储在多台机器上的操作，主要由查询路由mongos、分片、配置服务器组成。 ●查询路由根据配置服务器上的元数据将请求分发到 ...
分类：
数据库 时间：
2020-05-05 12:34:47
阅读次数：
92
ELK是由 Elasticsearch、Logstash和Kibana 三部分组件组成。 Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash 是一个完全开源的工具， ...
分类：
其他好文 时间：
2020-05-04 21:07:14
阅读次数：
72
1.说明 Elasticsearch 是分布式的，但是对于我们开发者来说并未过多的参与其中，我们只需启动对应数量的节点，并给它们分配相同的 cluster.name 让它们归属于同?个集群，创建索引的 时候只需指定索引主分?数和 副分?数 即可，其他的都交给了 ES 内部??去实现。 这和数据库的分 ...
分类：
其他好文 时间：
2020-05-04 19:12:33
阅读次数：
50
1、什么是分片上传 分片上传就是把一个大的文件分成若干块，一块一块的传输。这样做的好处可以减少重新上传的开销。比如：如果我们上传的文件是一个很大的文件，那么上传的时间应该会比较久，再加上网络不稳定各种因素的影响，很容易导致传输中断，用户除了重新上传文件外没有其他的办法，但是我们可以使用分片上传来解决 ...
分类：
Web程序 时间：
2020-05-04 13:30:50
阅读次数：
69
最近做了一个需求，需要加解密大文件，并返回真实加解密进度，因为大文件，所以必须要使用到分片上传。有时候前台分片之后，后台需要合并。前台分片上传没什么太大的问题，就是根据buffer或者blob去分割文件即可。主要是后台合并会遇到一些问题。后台合并的方法有很多，以Node.js为例，可以使用以下方式： ...
分类：
Web程序 时间：
2020-05-04 13:21:36
阅读次数：
133
