1 InputFormat数据输入 1.1 切片与MapTask并行度决定机制 1．问题引出 MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job的处理速度。 思考：1G的数据，启动8个MapTask，可以提高集群的并发处理能力。那么1K的数据，也启动8个MapTask，会提高 ...
分类：
其他好文 时间：
2020-07-17 09:35:30
阅读次数：
65
1.5 CombineTextInputFormat案例实操 1．需求 将输入的大量小文件合并成一个切片统一处理。 （1）输入数据 准备4个小文件 （2）期望 期望一个切片处理4个文件 2．实现过程 （1）不做任何处理，运行1.6节的WordCount案例程序，观察切片个数为4。 （2）在Wordc ...
分类：
其他好文 时间：
2020-07-17 09:33:01
阅读次数：
73
Spring Boot配置过滤器的两种方式及sevlet三大组件注册 ...
分类：
编程语言 时间：
2020-07-16 21:40:47
阅读次数：
80
数据可视化的本质是视觉对话，数据可视化将数据分析技术与图形技术结合，清晰有效地将分析结果信息进行解读和传达。大数据可视化是进行各种大数据分析解决的最重要组成部分之一。一旦原始数据流被以图像形式表示时，以此做决策就变得容易多了。为了满足并超越客户的期望，大数据可视化工具应该具备这些特征：1·能够处理不同种类型的传入数据2·能够应用不同种类的过滤器来调整结果3·能够在分析过程中与数据集进行交互4·能够
分类：
其他好文 时间：
2020-07-16 12:16:59
阅读次数：
387
MapReduce: Simplified Data Processing on Large Clusters MapReduce是什么？ a programming model and an associated implementation for processing and generati ...
分类：
其他好文 时间：
2020-07-16 10:13:57
阅读次数：
73
Flume、Logstash、Filebeat对比 日志采集工具对比 1、Flume简介 Flume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent，Flume采集系统就是由一个个agent所连接起来形成。每一个agent相当于一个数据传递员，内部有三个组件： ...
分类：
Web程序 时间：
2020-07-15 23:42:18
阅读次数：
161
参考： https://www.cnblogs.com/liujn0829/p/8622960.htmlhttps://blog.csdn.net/z8735058/article/details/76824548 一、单个过滤器 参考 https://cn.vuejs.org/v2/guide/f ...
分类：
其他好文 时间：
2020-07-15 22:43:33
阅读次数：
71
Hadoop原生的计算框架MapReduce，简单概括一下：进程量级很重，启动很慢，但能承载的数据量很大，效率相较于Spark微批处理和Flink实时来讲很慢，Shuffle任何一个写MR同学都必须掌握的东西，说难不难，说简单也不简单 MapReduce程序的五个阶段： input map shuf ...
分类：
其他好文 时间：
2020-07-15 15:53:30
阅读次数：
58
一：web.xml加载过程： 1.启动WEB项目的时候，容器首先会去读取web.xml配置文件中的两个节点：<listener> </listener>和<context-param> </context-param>； 2.容器创建一个ServletContext(application)，容器以 ...
分类：
Web程序 时间：
2020-07-15 13:04:47
阅读次数：
65
用途：从众多数据中找到符合某种条件的数据，如黑名单，垃圾邮件等 介绍：布隆过滤器使用K个hash函数和一个m大小的数，以及一个m bit的位图。预先对每条数据都使用hash函数进行映射，映射得到的值再对m取模，得到一个值，把位图上对应位置置1（涂黑），对所有数据都进行映射取模置位后得到就是这么多数据 ...
分类：
其他好文 时间：
2020-07-13 21:13:07
阅读次数：
50
