一、拦截器和过滤器的区别 1.拦截器: 1)不依赖容器,基于jdk动态代理实现 2)要实现HandlerInterceptor,要重写preHandle/postHandle/aftercompletion 2.过滤器: 1)依赖容器 2)要实现Filter,重写init()、doFilter()、 ...
分类:
编程语言 时间:
2020-06-08 23:19:47
阅读次数:
66
恢复内容开始 大数据的分布式计算框架目前使用的最多的就是hadoop的mapReduce和Spark,mapReducehe和Spark之间的最大区别是前者较偏向于离线处理,而后者重视实现性,下面主要介绍mapReducehe和Spark两者的shuffle过程。 MapReduce的Shuffle ...
分类:
其他好文 时间:
2020-06-08 19:17:29
阅读次数:
88
一、收集 执行NewOutputCollector对象的write方法就开启了对map输出数据的收集过程: ? collector是一个MapOutputCollector类型的变量,它是实际执行收集数据功能的对象载体: private final MapOutputCollector<K,V> c ...
分类:
其他好文 时间:
2020-06-08 18:53:43
阅读次数:
64
.net过滤器,对action的各个阶段进行统一的监控处理等操作。.net过滤器中,其中每一个种过滤器的执行先后顺序为:Authorize(授权)-->ActionFilter(自定义)-->HandleError(错误处理) ...
分类:
Web程序 时间:
2020-06-08 16:11:56
阅读次数:
91
D24 将几个命令通过管道符组合在一起就形成一个管道。通常,通过这种方式使用的命令就被称为过滤器。过滤器会获取输入,通过某种方式修改其内容,然后输出。 简单的将过滤器特点概括为: 1)如果一个Linux命令是从标准输入接收它的输入数据,并在标准输出上产生它的输出数据(结果),那么这个命令就被称为过滤 ...
分类:
系统相关 时间:
2020-06-08 14:33:58
阅读次数:
75
做为一个业务马拉松爱好者和一个不太专业的IT从业者(十多年开发不会,业务略懂,没形成自己的价值体系,啥啥没心得,得过且过十几年),在马拉松的时候想到了这个对照关系。 那就随便写写,看到了博君一笑。 hadoop的map阶段,是通过transform操作,将数据进行转换,这个阶段数据都是在各个机器上, ...
分类:
其他好文 时间:
2020-06-08 00:39:55
阅读次数:
61
在webapi项目中我们经常希望对错误信息进行统一控制,不希望每个controller中都写个modelState.isvalid,以屏蔽部分敏感信息到前端,此时就需要对modelState错误返回值进行改造。此时可以通过全局过滤器进行过滤 代码如下:以下写法是发现一个错误就停止验证后续的字段,直接 ...
分类:
Web程序 时间:
2020-06-07 19:25:41
阅读次数:
147
一、Hive的压缩和存储 1,MapReduce支持的压缩编码 压缩格式 工具 算法 文件扩展名 是否可切分 对应的编码/解码器 DEFLATE 无 DEFLATE .deflate 否 org.apache.hadoop.io.compress.DefaultCodec Gzip gzip DEF ...
分类:
其他好文 时间:
2020-06-07 19:08:04
阅读次数:
65
[TOC] 1. Servlet 程序 1.1 什么是 Servlet 1. Servlet 是 JavaEE 规范(接口)之一 2. Servlet 是 JavaWeb 三大组件之一,三大组件分别是: Servlet 程序、Filter 过滤器、Listener 监听器 3. Servlet 是运 ...
分类:
其他好文 时间:
2020-06-07 17:56:19
阅读次数:
54
一、什么是过滤器 ①、Filter过滤器是JavaWeb的三大组件之一。三大组件分别是Servlet程序、Listener监听器、Filter过滤器 ②、Filter过滤器是JavaEE的规范,即接口。 ③、Filter过滤器的作用是:拦截请求(主要)、过滤响应。 拦截请求常见的应用场景: 1、权限 ...
分类:
编程语言 时间:
2020-06-07 15:02:41
阅读次数:
57