一,前言 与redis的联系 redis 单实例,数据在内存-读取快 鉴于雪崩击穿等问题 ->复制到集群 HA sentinel 哨兵实现高可用 不是绝对的实时同步,可能连最终一致性都算不上 集群模式 分片 完成分布式 协调分布式锁 二,zookeeper(不要把zk当做数据库用) 主从集群 主是单 ...
分类：
其他好文 时间：
2019-12-28 20:51:14
阅读次数：
96
众所皆知，web上传大文件，一直是一个痛。上传文件大小限制，页面响应时间超时.这些都是web开发所必须直面的。 本文给出的解决方案是：前端实现数据流分片长传，后面接收完毕后合并文件的思路。 实现文件夹上传，要求：服务端保留层级结构，支持10w级别的文件夹上传。 大文件上传及断点续传，要求：支持50G ...
分类：
Web程序 时间：
2019-12-27 11:27:01
阅读次数：
107
MapReduce的工作流程 1.客户端将每个block块切片（逻辑切分），每个切片都对应一个map任务，默认一个block块对应一个切片和一个map任务，split包含的信息：分片的元数据信息，包含起始位置，长度，和所在节点列表等 2.map按行读取切片数据，组成键值对，key为当前行在源文件中的 ...
分类：
其他好文 时间：
2019-12-26 20:57:26
阅读次数：
74
环境： 业务机器安装packetbeat客户端 ES、kibana服务端需要保证启动（本次环境的ES和kibana服务跑在172.16.82.165上） 业务机器端执行安装： 1、下载包 yum install libpcap curl -L -O https://artifacts.elastic ...
分类：
其他好文 时间：
2019-12-26 13:08:45
阅读次数：
114
最近在做一个文件上传的项目，当上传文件达到几十GB，几百GB后在文件上传99%后，需要等待非常长的时间文件才能完成上传。通过埋点打印时间，发现md5计算时间非常长。 为了校验文件传输的完整性需要在文件上传结束后校验文件的完整性，md5值就用来校验完整性，所以这一步不能少。 解决方案 通过网上查找资料 ...
分类：
其他好文 时间：
2019-12-26 13:03:02
阅读次数：
152
众所皆知，web上传大文件，一直是一个痛。上传文件大小限制，页面响应时间超时.这些都是web开发所必须直面的。 本文给出的解决方案是：前端实现数据流分片长传，后面接收完毕后合并文件的思路。 实现文件夹上传，要求：服务端保留层级结构，支持10w级别的文件夹上传。 大文件上传及断点续传，要求：支持50G ...
分类：
Web程序 时间：
2019-12-26 12:46:16
阅读次数：
398
ELASTIC 写i性能优化 refresh translog flush refresh 优化 translog优化 flush 优化 读性能优化 shard 设置 ...
分类：
其他好文 时间：
2019-12-26 00:02:51
阅读次数：
110
Elasticsearch 是什么？
Elasticsearch 是一个分布式的、开源的搜索分析引擎，支持各种数据类型，包括文本、数字、地理、结构化、非结构化。
Elasticsearch 是基于 Apache Lucene 的。
Elasticsearch 因其简单的 REST API、分布式特性、告诉、可扩展而闻名。
Elasticsearch 是 Elastic 产品栈的核心，Elastic 产品栈是个开源工具集合，用于数据接收、存储、分析、可视化。
分类：
其他好文 时间：
2019-12-25 22:06:01
阅读次数：
107
这篇文章重点介绍一下kibana的配置。elasticsearch7.5集群的搭建文章请参见：https://blog.51cto.com/lovejxs/2457301一、安装启动下载页面:https://www.elastic.co/cn/downloads/past-releases下载：wget-chttps://artifacts.elastic.co/downloads/kibana/
分类：
其他好文 时间：
2019-12-25 16:26:42
阅读次数：
624
简介 润乾报表是用于报表制作的大型企业级报表软件，核心特点在于开创性地提出了非线性报表数学模型，采用了革命性的多源关联分片、不规则分组、自由格间运算、行列对称等技术，使得复杂报表的设计简单化，以往难以实现的报表可以轻松实现，避免了大量的复杂 SQL 编写与前期数据准备，报表设计的效率提高了一个数量级 ...
分类：
Web程序 时间：
2019-12-25 12:51:32
阅读次数：
121
