码迷,mamicode.com
首页 >  
搜索关键字:hadoop-mapreduce    ( 502个结果
Hadoop - MapReduce MRAppMaster-剖析
一 概述 MRv1主要由编程模型(MapReduce API)、资源管理与作业控制块(由JobTracker和TaskTracker组成)和数据处理引擎(由MapTask和ReduceTask组成)三部分组成。而YARN出现之后。资源管理模块则交由YARN实现,这样为了让MapReduce框架执行在 ...
分类:移动开发   时间:2017-07-03 15:11:06    阅读次数:282
Hadoop入门
MapReduce&HDFS简介一、Hadoop简介: 结构化数据:表,关系型数据库//有严格的约束 半结构化数据:html,json,yaml,有元数据//有约束,缺少严格的约束 非结构化数据:没有预定义的模型,元数据//日志数据等 搜索引擎:搜索组件、索引组件 网络爬虫:爬到的内容多为半结构化或..
分类:其他好文   时间:2017-07-03 15:07:36    阅读次数:173
Spark基本原理
权作《Spark快速大数据分析》学习笔记 定义:Spark是一个用来实现 快速 而 通用 的集群计算平台;(通用的大数据处理引擎;) 改进了原Hadoop MapReduce处理模型,体现在三方面: a. 速度;(内存计算) b. 不仅支持批处理,还支持交互式查询(速度快的成果)、流式计算、机器学习 ...
分类:其他好文   时间:2017-07-02 16:20:16    阅读次数:234
hadoop性能测试
一、hadoop自带的性能基准评测工具 (一)TestDFSIO 1、测试写性能 (1)若有必要,先删除历史数据 $hadoop jar /home/hadoop/hadoop/share/hadoop/mapreduce2/hadoop-mapreduce-client-jobclient-2.3 ...
分类:其他好文   时间:2017-07-01 14:37:03    阅读次数:216
eclipse新建项目的jar包载入问题
选中项目点击build path,导入以下的外部jar包 hadoop-2.7.2/share/hadoop/mapreduce下的所有jar包(子文件夹下的jar包不用) hadoop-2.7.2/share/hadoop/common下的hadoop-common-2.7.2.jar hadoo ...
分类:编程语言   时间:2017-06-29 13:32:42    阅读次数:138
Hadoop MapReduce输入输出类型
一、输入格式 1、输入分片split 一个分片对应一个map任务; 一个分片包含一个表(整个文件)上的若干行,而一条记录(单行)对应一行; 分片包含一个以字节为单位的长度 和 一组存储位置,分片不包含实际的数据; map处理时会用分片的大小来排序,优先处理最大的分片; hadoop中Java定义的分 ...
分类:其他好文   时间:2017-06-27 23:27:17    阅读次数:292
Hadoop MapReduce两种架构
一、MRv1 Master - Slave 模式 主要包含4部分:JobTracker,TaskTracker,Task,Client JobTracker:负责整个MR集群的资源监控和作业调度,集群的Master。它把任务进度 和 资源使用量告诉调度器TaskScheduler,由调度器来计划如何 ...
分类:其他好文   时间:2017-06-26 10:12:08    阅读次数:168
MapReduce
Hadoop内核 | MapReduce(分布式计算框架) 源于Google的MapReduce论文 > √发表于2004年12月 √Hadoop MapReduce是Google MapReduce克隆版 MapReduce特点 > √良好的扩展性 √高容错性 √适合PB级以上海量数据的离线处理 ...
分类:其他好文   时间:2017-06-25 13:48:26    阅读次数:117
16-hadoop-mapreduce简介
mapreduce是hadoop的核心组件, 设计理念是移动计算而不是移动数据, mapreduce的思想是'分而治之', 将复杂的任务分解成几个简单的任务去执行 共分为4个步骤: 1, split 切分blcok, 切分为数据片段, split0, split1, split2 计算公式为: 2, ...
分类:其他好文   时间:2017-06-24 19:40:44    阅读次数:167
Hadoop Mapreduce之WordCount实现
1.新建一个WCMapper继承Mapper public class WCMapper extends Mapper<LongWritable, Text, Text, LongWritable> { public class WCMapper extends Mapper<LongWritabl ...
分类:其他好文   时间:2017-06-11 15:40:38    阅读次数:224
502条   上一页 1 ... 11 12 13 14 15 ... 51 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!