面试官:想了解应聘者之前公司接触的 ES 使用场景、规模,有没有做过比较大 规模的索引设计、规划、调优。 解答: 如实结合自己的实践场景回答即可。 比如:ES 集群架构 13 个节点,索引根据通道不同共 20+索引,根据日期,每日 递增 20+,索引:10 分片,每日递增 1 亿+数据, 每个通道每 ...
分类:
其他好文 时间:
2020-04-29 16:34:19
阅读次数:
117
1 背景 用户本地有一份txt或者csv文件,无论是从业务数据库导出、还是其他途径获取,当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候,首先要将本地文件上传至ODPS,普通的小文件通过浏览器上传至服务器,做一层中转便可以实现,但当这份文件非常大到了10GB级别,我们就需要思考另一种 ...
分类:
编程语言 时间:
2020-04-27 15:01:34
阅读次数:
90
众所皆知,web上传大文件,一直是一个痛。上传文件大小限制,页面响应时间超时.这些都是web开发所必须直面的。 本文给出的解决方案是:前端实现数据流分片长传,后面接收完毕后合并文件的思路。 实现文件夹上传,要求:服务端保留层级结构,支持10w级别的文件夹上传。 大文件上传及断点续传,要求:支持50G ...
分类:
Web程序 时间:
2020-04-27 11:52:38
阅读次数:
282
文件夹数据库处理逻辑 public class DbFolder { JSONObject root; public DbFolder() { this.root = new JSONObject(); this.root.put("f_id", ""); this.root.put("f_name ...
分类:
Web程序 时间:
2020-04-25 19:40:01
阅读次数:
87
HTML部分 <%@ Page Language="C#" AutoEventWireup="true" CodeBehind="index.aspx.cs" Inherits="up6.index" %> <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 T ...
分类:
Web程序 时间:
2020-04-25 17:31:41
阅读次数:
74
IE的自带下载功能中没有断点续传功能,要实现断点续传功能,需要用到HTTP协议中鲜为人知的几个响应头和请求头。 一. 两个必要响应头Accept-Ranges、ETag 客户端每次提交下载请求时,服务端都要添加这两个响应头,以保证客户端和服务端将此下载识别为可以断点续传的下载: Accept-Ran ...
分类:
Web程序 时间:
2020-04-25 15:30:16
阅读次数:
101
webuploader 文件分片上传 为了预研技术大文件分片上传, 找到百度团队维护的webuploader库作为基础。github L6zt调研策略: 看看 webupload 前端 如何调用,看看基本demo,接着看看api,结局是貌似文档看着不明白。 接着看看后端是如何操作,看了看 官方Git ...
分类:
Web程序 时间:
2020-04-23 20:55:31
阅读次数:
87
众所皆知,web上传大文件,一直是一个痛。上传文件大小限制,页面响应时间超时.这些都是web开发所必须直面的。 本文给出的解决方案是:前端实现数据流分片长传,后面接收完毕后合并文件的思路。 实现文件夹上传,要求:服务端保留层级结构,支持10w级别的文件夹上传。 大文件上传及断点续传,要求:支持50G ...
分类:
Web程序 时间:
2020-04-17 12:44:07
阅读次数:
87
@ "TOC" 一、元组和列表的区别 元组与列表的区别是: 不可修改,只读列表 列表中的:元素赋值、删除元素、分片赋值、append()、extend()、insert()、pop()、remove()、reverse()、sort()等函数在元组中都不可使用 乘法、索引取值、tuple( )、切片 ...
分类:
编程语言 时间:
2020-04-17 12:27:46
阅读次数:
70
微信公众号:网络民工组网图形图1配置流策略实现限速组网图简介流策略中,可以按照ACL对报文进行分类。基于ACL规则定义方式,可以将ACL分为基本ACL、高级ACL、二层ACL等种类。基本ACL根据源IP地址、分片信息和生效时间段等信息来定义规则。对于匹配的流量,在流行为中配置流量监管动作,可以实现限速。访问控制列表ACL(AccessControlList)是由一条或多条规则组成的集合。所谓规则,
分类:
其他好文 时间:
2020-04-14 15:13:33
阅读次数:
105