2020 年 天翼杯签到题 题目描述：赛方给出了一个6G的大文件让我们下载，但是速度只有几k，明显不可能靠下载完成获取flag 当时看见这签到提的时候完全不会，毫无头绪，比赛完才看见大佬说需要使用curl分片下载 curl分片下载前提 服务器需要支持 HTTP Range Request，可以用cu ...
分类：
Web程序 时间：
2020-08-17 17:51:06
阅读次数：
141
1.问题背景 最近测试用mongoshake工具做MongoDB数据迁移,mongoshake在迁移完成提供了一个脚本comparison.py来做数据校验,在校验过程中发现结果比对存在一个库数据不一致,下意识以为mongoshake存在缺陷导致迁移丢数据,理论上这种基础功能不应该存在错误,多次重新 ...
分类：
数据库 时间：
2020-08-17 17:01:03
阅读次数：
80
1. 通过yarn的 http://node2:8088/cluster 的网页版本 可以查看到总CPU核心数 , 以及正在使用的 ,剩余的 , 和内存数 2. 如何通过shell 命令或脚本查看剩余的 cpu核心数 和内存 yarn top 这个命令句就可以 , 查看集群的资源情况 , 包括正在使 ...
分类：
其他好文 时间：
2020-08-17 16:44:40
阅读次数：
160
在Windows平台上部署巡风扫描引擎，需要注意Python和MongoDB的几个坑
搜索同一 query，结果ES返回的顺序却不尽相同，可能会有两个原因导致此问题发生： 这就是请求轮询到不同分片，而未设置排序条件，相同相关性评分情况下，是按照所在 segment 中 ?lucene id 来排序的，相同数据的不同备份之间该 id 是不能保证一致的，故造成结果震荡问题。 主节点 和 ...
分类：
其他好文 时间：
2020-08-10 19:51:35
阅读次数：
114
查看es集群健康状态curl-XGET"http://$ip:9200/_cat/health?"查看索引变红的原因curl-XGET"http://$ip:9200/_cluster/allocation/explain"如下确认索引是否可删除，或者调整副本为0
分类：
其他好文 时间：
2020-08-08 09:25:59
阅读次数：
119
节点规划 三主三从 master slave node-1 192.168.0.142 6379 192.168.0.142 26379 node-2 192.168.0.143 6379 192.168.0.143 26379 node-3 192.168.0.144 6379 192.168.0 ...
分类：
其他好文 时间：
2020-08-07 20:31:52
阅读次数：
75
这里只写后端的代码，基本的思想就是，前端将文件分片，然后每次访问上传接口的时候，向后端传入参数：当前为第几块文件，和分片总数 下面直接贴代码吧，一些难懂的我大部分都加上注释了： 上传文件实体类： 看得出来，实体类中已经有很多我们需要的功能了，还有实用的属性。如MD5秒传的信息。 首先是文件数据接收逻 ...
分类：
编程语言 时间：
2020-08-07 18:04:03
阅读次数：
67
mongodb复制原理mongodb的复制最少需要两个节点，一个master，用于处理用户的请求，其余都是从节点，负责复制主节点上的数据。mongodb常见集群环境：一主一从、一主多从。master记录在其上的所有操作oplog，slave定期轮询master获取这些操作，然后对自己的数据副本执行这些操作，从而保证从节点的数据与主节点一致。MongoDB复制结构图如下：在上面的架构中，客户端从pr
分类：
数据库 时间：
2020-08-05 21:01:45
阅读次数：
90
说起来，查看Mongodb官方的接口文档是场噩梦，尽管mongodb官方花了大力气整顿了它的API，但是简单的接口罗列，0代码示范，让人无从开始。幸亏有很多天才，成功破译，我才得以沿着他们走的路，照猫画虎的走下去。整个项目结构如下： 类文件中vbtest.vb数据库实体类对应着mongodb文档vb ...
分类：
数据库 时间：
2020-08-05 10:29:23
阅读次数：
81
