1.安装 http://note.youdao.com/noteshare?id=83cbd486d6ec7ae941420047b24e62a8 2.基本概念 http://note.youdao.com/noteshare?id=542df719d3118f2848861d3435967e4e ...
分类:
其他好文 时间:
2020-04-06 00:07:10
阅读次数:
64
分词器的介绍和使用 什么是分词器? 将用户输入的一段文本,按照一定逻辑,分析成多个词语的一种工具 常用的内置分词器 standard analyzer、simple analyzer、whitespace analyzer、stop analyzer、language analyzer、patter ...
分类:
其他好文 时间:
2020-04-05 22:00:03
阅读次数:
72
kolla-build.conf 配置文件: [root@localhost ~]# cat /etc/kolla/kolla-build.conf [DEFAULT] tag = train base = centos namespace = kolla push = false [profile ...
分类:
其他好文 时间:
2020-04-05 13:46:21
阅读次数:
144
重温MR整体流程 工作流程 开始执行输入(InputFormat),先对文件进行分片,然后读取数据输入到Map中。 Mapper读取输入内容,解析成键值对,1行内容解析成1个键值对,每个键值对调用一次map方法。 每个键值对执行map重写的方法,把输入的键值对转换成新的键值对。 多个Mapper的输 ...
分类:
其他好文 时间:
2020-04-05 00:16:31
阅读次数:
65
可扩展性就是当增加资源以处理负载和增加容量时系统能够获得的投资产出率(ROI)。 一、规划可扩展性 二、为扩展赢得时间 优化性能 购买性能更强的硬件 三、向上扩展 四、向外扩展 可以把向外扩展(有时也称为横向扩展或者水平扩展)策略划分为三个部分:复制、拆分,以及数据分片(sharding)。 最常见 ...
分类:
数据库 时间:
2020-04-03 20:06:35
阅读次数:
78
众所皆知,web上传大文件,一直是一个痛。上传文件大小限制,页面响应时间超时.这些都是web开发所必须直面的。 本文给出的解决方案是:前端实现数据流分片长传,后面接收完毕后合并文件的思路。 实现文件夹上传,要求:服务端保留层级结构,支持10w级别的文件夹上传。 大文件上传及断点续传,要求:支持50G ...
分类:
Web程序 时间:
2020-04-02 18:04:55
阅读次数:
77
Netty是Trustin Lee在2004年开发的一款高性能的网络应用程序框架。相比于JDK自带的NIO,Netty做了相当多的增强,且隔离了jdk nio的实现细节,API也比较友好,还支持流量整形等高级特性。在我们常见的一些开源项目中已经普遍的应用到了Netty,比如Dubbo、Elastic ...
分类:
Web程序 时间:
2020-04-01 19:18:07
阅读次数:
72
docker run -p 9200:9200 -p 9300:9300 --name elasticsearch \ -e "discovery.type=single-node" \ -e "cluster.name=elasticsearch" \ -v /opt/docker/elastic ...
分类:
其他好文 时间:
2020-03-31 17:14:46
阅读次数:
57
这里只写后端的代码,基本的思想就是,前端将文件分片,然后每次访问上传接口的时候,向后端传入参数:当前为第几块文件,和分片总数 下面直接贴代码吧,一些难懂的我大部分都加上注释了: 上传文件实体类: 看得出来,实体类中已经有很多我们需要的功能了,还有实用的属性。如MD5秒传的信息。 public cla ...
分类:
编程语言 时间:
2020-03-27 13:02:01
阅读次数:
94
我们平时经常做的是上传文件,上传文件夹与上传文件类似,但也有一些不同之处,这次做了上传文件夹就记录下以备后用。 这次项目的需求: 支持大文件的上传和续传,要求续传支持所有浏览器,包括ie6,ie7,ie8,ie9,Chrome,Firefox,360安全浏览器,并且刷新浏览器后仍然能够续传,重启浏览 ...
分类:
Web程序 时间:
2020-03-27 11:01:32
阅读次数:
133