一、认识Ant Ant和Maven都是项目构建工具 在项目的运行、变异、打包等过程都需要依赖于Ant构建工具 多个项目建立关联须把其它项目打成jar包，并导入到本项目，方可调用其它项目方法 二、分布式 1、 传统项目部署 a) 新建一个项目，通过不同的包区分不同的模块 b) 把项目发布到服务器的To ...
分类：
其他好文 时间：
2020-07-25 23:21:21
阅读次数：
68
@ 问题引出 要求将统计结果按照条件输出到不同文件中（分区）。 比如：将统计结果按照手机归属地不同省份输出到不同文件中（分区） 默认Partitioner分区 public class HashPartitioner<K,V> extends Partitioner<K,V>{ public int ...
分类：
其他好文 时间：
2020-07-21 22:12:05
阅读次数：
68
一、报错信息： Exception in thread "main" java.lang.RuntimeException: java.lang.InstantiationException at org.apache.hadoop.util.ReflectionUtils.newInstance( ...
分类：
编程语言 时间：
2020-07-20 15:47:15
阅读次数：
74
1、用途 一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 各任务单元之间存在时间先后及前后依赖关系 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； 例如，我们可能有这样一个需求，某个业务系统每天产生 ...
分类：
其他好文 时间：
2020-07-20 13:26:58
阅读次数：
71
1．ReduceTask工作机制 ReduceTask工作机制，如图4-19所示。 图4-19 ReduceTask工作机制 （1）Copy阶段：ReduceTask从各个MapTask上远程拷贝一片数据，并针对某一片数据，如果其大小超过一定阈值，则写到磁盘上，否则直接放到内存中。 （2）Merge ...
分类：
其他好文 时间：
2020-07-19 23:09:27
阅读次数：
72
在企业开发中，Hadoop框架自带的InputFormat类型不能满足所有应用场景，需要自定义InputFormat来解决实际问题。 自定义InputFormat步骤如下： （1）自定义一个类继承FilelnputFormat。 （2）自定义一个类继承RecordReader，实现一次读取一个完整文 ...
分类：
其他好文 时间：
2020-07-19 16:25:43
阅读次数：
67
1 InputFormat数据输入 1.1 切片与MapTask并行度决定机制 1．问题引出 MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job的处理速度。 思考：1G的数据，启动8个MapTask，可以提高集群的并发处理能力。那么1K的数据，也启动8个MapTask，会提高 ...
分类：
其他好文 时间：
2020-07-17 09:35:30
阅读次数：
65
1.5 CombineTextInputFormat案例实操 1．需求 将输入的大量小文件合并成一个切片统一处理。 （1）输入数据 准备4个小文件 （2）期望 期望一个切片处理4个文件 2．实现过程 （1）不做任何处理，运行1.6节的WordCount案例程序，观察切片个数为4。 （2）在Wordc ...
分类：
其他好文 时间：
2020-07-17 09:33:01
阅读次数：
73
MapReduce: Simplified Data Processing on Large Clusters MapReduce是什么？ a programming model and an associated implementation for processing and generati ...
分类：
其他好文 时间：
2020-07-16 10:13:57
阅读次数：
73
Hadoop原生的计算框架MapReduce，简单概括一下：进程量级很重，启动很慢，但能承载的数据量很大，效率相较于Spark微批处理和Flink实时来讲很慢，Shuffle任何一个写MR同学都必须掌握的东西，说难不难，说简单也不简单 MapReduce程序的五个阶段： input map shuf ...
分类：
其他好文 时间：
2020-07-15 15:53:30
阅读次数：
58
