redis分片机制(shards) 前提说明: redis可以通过修改内存的大小 实现数据的保存.但是内存的资源不易设置的过大,因为很多的时间都浪费在内存的寻址中. 需求: 如果有海量的数据,需要redis存储 问:应该如何处理? 解决方案: 可以采用Redis分片机制 实现内存数据的扩容. 知识点 ...
分类：
其他好文 时间：
2020-08-18 13:55:27
阅读次数：
83
2020 年 天翼杯签到题 题目描述：赛方给出了一个6G的大文件让我们下载，但是速度只有几k，明显不可能靠下载完成获取flag 当时看见这签到提的时候完全不会，毫无头绪，比赛完才看见大佬说需要使用curl分片下载 curl分片下载前提 服务器需要支持 HTTP Range Request，可以用cu ...
分类：
Web程序 时间：
2020-08-17 17:51:06
阅读次数：
141
搜索同一 query，结果ES返回的顺序却不尽相同，可能会有两个原因导致此问题发生： 这就是请求轮询到不同分片，而未设置排序条件，相同相关性评分情况下，是按照所在 segment 中 ?lucene id 来排序的，相同数据的不同备份之间该 id 是不能保证一致的，故造成结果震荡问题。 主节点 和 ...
分类：
其他好文 时间：
2020-08-10 19:51:35
阅读次数：
114
这里只写后端的代码，基本的思想就是，前端将文件分片，然后每次访问上传接口的时候，向后端传入参数：当前为第几块文件，和分片总数 下面直接贴代码吧，一些难懂的我大部分都加上注释了： 上传文件实体类： 看得出来，实体类中已经有很多我们需要的功能了，还有实用的属性。如MD5秒传的信息。 首先是文件数据接收逻 ...
分类：
编程语言 时间：
2020-08-07 18:04:03
阅读次数：
67
GlusterFS 3节点的复制集，由于磁盘故障，其中一个复制集需要重装系统，所以需要重装glusterfs并将该节点加入glusterfs集群 一. 安装GlusterFS 首先在重装系统节点安装 glusterfs Centos yum -y install centos-release-glu ...
分类：
其他好文 时间：
2020-08-07 12:31:43
阅读次数：
70
1.列表、元组和字符串的共同点 都可以通过索引得到每一个元素 默认索引值总是从0开始 可以通过分片的方法得到一个范围内的元素的集合 有很多共同的操作符（重复操作符、拼接操作符、成员关系操作符） 2.创建序列 >>> list('abcdefg') ['a', 'b', 'c', 'd', 'e', ...
分类：
其他好文 时间：
2020-08-01 21:20:30
阅读次数：
67
1、问题描述您好，请教个问题。我现在有2千多万的手机号码信息保存在es里。5个分片，3个节点。现在的需求是将后八位相同的号码匹配到一起，重新放到一个index里。组成情侣号。方便后续查询情侣号列表。我目前的做法是用scroll查询出一万条，多线程循环一万条中的每条，去全库扫描---但是这种做法一分钟才能处理一万条。您有什么新的思路没。死磕Elasticsearch知识星球https://t.zsx
分类：
移动开发 时间：
2020-07-29 15:04:19
阅读次数：
82
题记：技术交流群中有小伙伴提及：“es节点默认1000个分片的限制”？这引发了我对Elasticsearch默认值的关注。我一搜不要紧：聊天记录中涉及“默认”关键词的讨论接近400多处。这些默认值对于架构选型、开发实战、运维排查性能问题等都有很好的借鉴价值，虽官方文档都有详细论述，但散落在各个角度。处于本能的好奇心，我认为非常有必要结合自己的实战经历梳理出Elasticsearch最常用的默认值的
分类：
其他好文 时间：
2020-07-29 10:38:49
阅读次数：
116
关于TCP和UDP的一些问题： 1. tcp数据流与udp数据报？ tcp是面向连接的字节流，TCP把应用程序看成是一连串的无结构的字节流，TCP有一个缓冲，应用发送太长可以分片发送，太短也可以积累足够多后再发送（mss控制分片）客户端连续发送数据，只要服务端的这个函数的缓冲区足够大，会一次性接收过 ...
分类：
其他好文 时间：
2020-07-28 14:13:46
阅读次数：
73
MongoDB DBA常用的NoSQL语句 查看帮忙命令 > hlep --server级别 > db.help() --db级别 > db. collectionname . help() --集合级别 查看所有数据库 >show dbs --新建的数据库并不在数据库的列集合中，要显示它，我们需要 ...
分类：
数据库 时间：
2020-07-27 13:56:18
阅读次数：
83
