本课程从Hadoop核心技术入手，以电商项目为依托，带领你从0基础开始上手，逐步掌握大数据核心技术（如：HDFS、YARN、MapReduce以及Hive），并使用这些技术进行实战，最终完成电商行为日志分析项目，让你轻松入门大数据！ ...
分类：
Web程序 时间：
2020-01-10 01:08:26
阅读次数：
133
1、MapReduce跑的慢的原因 MapReduce程序效率的瓶颈主要在于两点： 1、机器性能不足（CPU、内存、磁盘健康、网络） 2、IO操作优化 数据倾斜 Map和Reduce数设置不合理 Map运行时间太长，导致Reduce等待的时间太久 小文件 大量不可切分的超大文件 spill溢写次数过 ...
分类：
其他好文 时间：
2020-01-08 00:46:53
阅读次数：
116
我们知道数据分析的第一步是准备数据，所以在前面的课程里，我们介绍了元数据。今天这篇文章，主要介绍大数据量组合数据集在永洪中的应用实例：Mapsidejoin。什么是Mapsidejoin？按照字面意思，Mapsidejoin就是M—节点—组合。在了解Mapsidejoin之前，首先我们要了解一下MapReduce模型以及产品的四个节点CNMR的作用，通过MapReduce模型中，Mapsidejo
分类：
其他好文 时间：
2020-01-08 00:23:10
阅读次数：
157
流式处理框架对比 Posted on 2017 07 05 23:36 天戈朱 阅读(9600) 评论(0) 编辑 收藏 分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析的过程，与MapReduce一样是一种通用计算框 ...
分类：
其他好文 时间：
2020-01-07 20:08:49
阅读次数：
183
一、概述1、 为什么需要工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等;各任务单元之间存在时间先后及前后依赖关系;为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；例如：我们可能有这样一个... ...
分类：
其他好文 时间：
2020-01-07 10:25:31
阅读次数：
92
John Hennessy and David Patterson 2017 ACM A.M.Turing Award Lecture SISC 不同指令耗费时间不同 Micro programming 每条指令有一套程序 不能共享 设计指令集 机器中基本的微指令 用微指令实现基本指令 微程序设计 ...
分类：
其他好文 时间：
2020-01-07 01:08:09
阅读次数：
117
1.打包时指定main Class信息 注意：默认直接通过maven插件打成jar包中没有指定main class信息，因此在运行mapreduce的jar包时必须在指令后明确main class信息 需要在插件进行配置 1 <build> 2 <plugins> 3 <plugin> 4 <gro ...
分类：
其他好文 时间：
2020-01-05 12:11:22
阅读次数：
93
Hadoop Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。 YAR ...
分类：
其他好文 时间：
2020-01-03 23:16:37
阅读次数：
82
简介 YARN 提供请求和使用hadoop集群资源的API 向上隐藏细节 提供更高层的API 4.1 YARN应用运行机制 资源请求 应用生命周期 构建yarn应用 4.2 YARN与MapReduce 1相比 (MapReduce特指hadoop1 的版本, 2/3依次对应) 4.3 YARN中的 ...
分类：
其他好文 时间：
2020-01-02 20:42:12
阅读次数：
81
Hbase数据管理 Hbase就是Hadoop database Hbase是列式数据库 因此Hbase特别适合寻找按照时间排序寻找Top n的场景 Hive数据管理 基于 Hadoop 文件系统的数据仓库 Hive是建立在Hadoop上的数据仓库基础架构。它提供了一系列的工具，用来进行数据提取、转 ...
分类：
其他好文 时间：
2020-01-02 15:24:13
阅读次数：
66
