一、ES一些概念 索引 _inde，文档存储的地方，类似于关系型数据中的数据库。 事实上，数据被存储和索引在分片中，索引仅仅是一个把一个或者多个分片分组在一起的逻辑空间。 索引名字必须是全部小写，不允许以下划线开头，不能包含逗号。 文档 文档id是一个字符串，与_index组合时，就可以在Elast ...
分类：
其他好文 时间：
2020-04-08 09:30:37
阅读次数：
88
Elastic Search 分布式工作原理 前言 Elastic Search 是分布式的，但是对于我们开发者来说并未过多的参与其中，我们只需启动对应数量的节点，并给它们分配相同的 cluster.name，让它们归属于同一个集群，创建索引的时候只需指定索引主分片数和副分片数即可，其他的都交给了 ...
分类：
其他好文 时间：
2020-04-07 22:41:08
阅读次数：
86
Redis在日常部署的时候，可以有多种部署模式：单机、主从、哨兵、集群（分区分片），因此本例将对上面这四种模式进行详细的讲解，特别是集群模式将进行最细致的讲解（现行普遍使用的方式）。 一、单机部署 单机部署很简单，直接下载Redis进行安装即可，此处不作详细讲解，具体Redis的安装请参考：Mac下 ...
分类：
其他好文 时间：
2020-04-07 09:15:04
阅读次数：
84
1、分片和副本机制 1、index包含多个shard 2、每个shard都是一个最小工作单元，承担部分数据；每个shard都是一个lucene示例，有完整的建立索引和处理请求的能力 3、增减节点时，shard会自动在nodes中负载均衡 4、primary shard和replica shard，每 ...
分类：
其他好文 时间：
2020-04-06 10:03:16
阅读次数：
83
重温MR整体流程 工作流程 开始执行输入（InputFormat），先对文件进行分片，然后读取数据输入到Map中。 Mapper读取输入内容，解析成键值对，1行内容解析成1个键值对，每个键值对调用一次map方法。 每个键值对执行map重写的方法，把输入的键值对转换成新的键值对。 多个Mapper的输 ...
分类：
其他好文 时间：
2020-04-05 00:16:31
阅读次数：
65
可扩展性就是当增加资源以处理负载和增加容量时系统能够获得的投资产出率（ROI）。 一、规划可扩展性 二、为扩展赢得时间 优化性能 购买性能更强的硬件 三、向上扩展 四、向外扩展 可以把向外扩展（有时也称为横向扩展或者水平扩展）策略划分为三个部分：复制、拆分，以及数据分片（sharding）。 最常见 ...
分类：
数据库 时间：
2020-04-03 20:06:35
阅读次数：
78
众所皆知，web上传大文件，一直是一个痛。上传文件大小限制，页面响应时间超时.这些都是web开发所必须直面的。 本文给出的解决方案是：前端实现数据流分片长传，后面接收完毕后合并文件的思路。 实现文件夹上传，要求：服务端保留层级结构，支持10w级别的文件夹上传。 大文件上传及断点续传，要求：支持50G ...
分类：
Web程序 时间：
2020-04-02 18:04:55
阅读次数：
77
这里只写后端的代码，基本的思想就是，前端将文件分片，然后每次访问上传接口的时候，向后端传入参数：当前为第几块文件，和分片总数 下面直接贴代码吧，一些难懂的我大部分都加上注释了： 上传文件实体类： 看得出来，实体类中已经有很多我们需要的功能了，还有实用的属性。如MD5秒传的信息。 public cla ...
分类：
编程语言 时间：
2020-03-27 13:02:01
阅读次数：
94
我们平时经常做的是上传文件，上传文件夹与上传文件类似，但也有一些不同之处，这次做了上传文件夹就记录下以备后用。 这次项目的需求： 支持大文件的上传和续传，要求续传支持所有浏览器，包括ie6,ie7,ie8,ie9,Chrome,Firefox,360安全浏览器，并且刷新浏览器后仍然能够续传，重启浏览 ...
分类：
Web程序 时间：
2020-03-27 11:01:32
阅读次数：
133
