码迷,mamicode.com
首页 >  
搜索关键字:mapreduce 数据字典表 hadoop    ( 15677个结果
Hadoop框架:MapReduce基本原理和入门案例
MapReduce既是一个编程模型,也是一个计算组件,处理的过程分为两个阶段,Map阶段:负责把任务分解为多个小任务,Reduce负责把多个小任务的处理结果进行汇总。其中Map阶段主要输入是一对Key-Value,经过map计算后输出一对Key-Value值;然后将相同Key合并,形成Key-Value集合;再将这个Key-Value集合转入Reduce阶段,经过计算输出最终Key-Value结果集。
分类:其他好文   时间:2020-11-26 14:53:23    阅读次数:6
计数器
package com.atguigu.etl; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.NullWritable; impo ...
分类:其他好文   时间:2020-11-25 13:04:03    阅读次数:26
我要进大厂之大数据MapReduce知识点(2)
01 我们一起学大数据 今天老刘分享的是MapReduce知识点的第二部分,在第一部分中基本把MapReduce的工作流程讲述清楚了,现在就是对MapReduce零零散散的知识点进行总结,这次的内容大纲如下图: 02 需要谨记的知识点 第6点:自定义分区 在上篇文章里的第五点提到过这句话:分区用到了 ...
分类:其他好文   时间:2020-11-25 12:39:39    阅读次数:6
大数据组件
1.大数据架构图谱 文件系统 HDFS Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。 GlusterFS 是一个集群的文件系统 ...
分类:其他好文   时间:2020-11-25 12:06:50    阅读次数:8
Hadoop全分布模式启动集群
一、 初始化工作: 1. 准备三台机器 hostanme IP 用途 master 192.168.0.10 namenode node1 192.168.0.11 datenode node2 192.168.0.12 datenode 在三台机器上做下面的动作 2. 编辑/etc/hosts 1 ...
分类:其他好文   时间:2020-11-23 12:38:36    阅读次数:12
我要进大厂之大数据Hadoop HDFS知识点(1)
01 我们一起学大数据 老刘今天开始了大数据Hadoop知识点的复习,Hadoop包含三个模块,这次先分享出Hadoop中的HDFS模块的基础知识点,也算是对今天复习的内容进行一次总结,希望能够给想学大数据的同学一点帮助,也希望能够得到大佬们的批评和指点!(每个点都很重要,都不能忽视) 02 需谨记 ...
分类:其他好文   时间:2020-11-23 12:18:23    阅读次数:6
docker
@ 1.Docker概述 1.1Docker为什么会出现 一款产品:开发--》上线,需要两套环境!应用环境,应用配置! 开发 运营之间产生问题:我在我的电脑上可以运行!版本更新导致服务不可用!对于运维就很难 开发即运维! 环境配置十分麻烦,每一个机器都要部署环境(集群Redis、ES、Hadoop。 ...
分类:其他好文   时间:2020-11-21 12:47:24    阅读次数:31
认识Hive
认识Hive 从MapReduce到SQL Hive架构 三种安装方式 Hive与关系型数据库的区别 1. 认识Hive 前面我们讲到了mapreduce计算框架,各位需要通过java编码的形式来实现设计运算过程,Hive的设计目的就是为了让精通sql技能而java较弱的分析师能够利用hadoop进 ...
分类:其他好文   时间:2020-11-21 12:33:40    阅读次数:7
MapReduce
2. MAPREDUCE框架结构及核心运行机制 2.1 框架架构 一个完整的mapreduce程序在分布式运行时有三类实例进程:1、MRAppMaster(Mapreduce application master):负责整个程序的过程调度及状态协调2、MapTask:负责map阶段的整个数据处理流程 ...
分类:其他好文   时间:2020-11-21 12:15:54    阅读次数:6
大数据平台建设 —— SQL查询引擎之Presto
大数据查询引擎Presto简介SQLonHadoop:Hive的出现让技术人员可以通过类SQL的方式对批量数据进行查询,而不用开发MapReduce程序MapReduce计算过程中大量的中间结果磁盘落地使运行效率较低为了提高SQLonHadoop的效率,各大工具应运而生,比如Shark、Impala等SQLonHadoop的常见工具:Presto是什么:Presto是由Facebook开发的分布式
分类:数据库   时间:2020-11-21 12:01:11    阅读次数:8
15677条   上一页 1 ... 15 16 17 18 19 ... 1568 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!