面试官：想了解应聘者之前公司接触的 ES 使用场景、规模，有没有做过比较大 规模的索引设计、规划、调优。 解答： 如实结合自己的实践场景回答即可。 比如：ES 集群架构 13 个节点，索引根据通道不同共 20+索引，根据日期，每日 递增 20+，索引：10 分片，每日递增 1 亿+数据， 每个通道每 ...
分类：
其他好文 时间：
2020-04-29 16:34:19
阅读次数：
117
1 背景 用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种 ...
分类：
编程语言 时间：
2020-04-27 15:01:34
阅读次数：
90
众所皆知，web上传大文件，一直是一个痛。上传文件大小限制，页面响应时间超时.这些都是web开发所必须直面的。 本文给出的解决方案是：前端实现数据流分片长传，后面接收完毕后合并文件的思路。 实现文件夹上传，要求：服务端保留层级结构，支持10w级别的文件夹上传。 大文件上传及断点续传，要求：支持50G ...
分类：
Web程序 时间：
2020-04-27 11:52:38
阅读次数：
282
文件夹数据库处理逻辑 public class DbFolder { JSONObject root; public DbFolder() { this.root = new JSONObject(); this.root.put("f_id", ""); this.root.put("f_name ...
分类：
Web程序 时间：
2020-04-25 19:40:01
阅读次数：
87
HTML部分 <%@ Page Language="C#" AutoEventWireup="true" CodeBehind="index.aspx.cs" Inherits="up6.index" %> <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 T ...
分类：
Web程序 时间：
2020-04-25 17:31:41
阅读次数：
74
IE的自带下载功能中没有断点续传功能，要实现断点续传功能，需要用到HTTP协议中鲜为人知的几个响应头和请求头。 一. 两个必要响应头Accept-Ranges、ETag 客户端每次提交下载请求时，服务端都要添加这两个响应头，以保证客户端和服务端将此下载识别为可以断点续传的下载： Accept-Ran ...
分类：
Web程序 时间：
2020-04-25 15:30:16
阅读次数：
101
webuploader 文件分片上传 为了预研技术大文件分片上传， 找到百度团队维护的webuploader库作为基础。github L6zt调研策略： 看看 webupload 前端 如何调用，看看基本demo，接着看看api，结局是貌似文档看着不明白。 接着看看后端是如何操作，看了看 官方Git ...
分类：
Web程序 时间：
2020-04-23 20:55:31
阅读次数：
87
ElasticSearch 概述 Elasticsearch 是一个 的`开源搜索 分析引擎 在 Apache Lucene 的基础上开发而成 REST 风格 API 分布式特性 速度 可扩展性`而闻名，是 Elastic Stack 的核心组件；Elastic Stack 是适用于数据采集、充实、 ...
分类：
其他好文 时间：
2020-04-22 19:39:01
阅读次数：
77
结合网上资料和个人多年面试经验整理，然后掏空了整个搜索引擎整理的内容，涵盖了： Java、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、Redis、MySQL、Spring、Spring Boot、Spring Cloud、RabbitMQ、Kafk ...
分类：
编程语言 时间：
2020-04-22 13:02:20
阅读次数：
61
基本讲解到现在，大家其实直接到公司里，就可以去搭建redis了 因为其实有些东西，也许没有讲解到细节的一些东西，比如一些参数的设置 不同的公司，不同的业务，不同的数据量，可能要调节的参数不同 到这里为止，大家就差不多了，按照这个思路，去搭建redis支撑高并发、高可用、海量数据的架构，部署 可以用公 ...
分类：
系统相关 时间：
2020-04-21 09:40:50
阅读次数：
81
