MR引擎： MapReduce：是一种离线计算框架，将一个算法抽象成Map和Reduce两个阶段进行处理，每个阶段都是用键值对（key/value）作为输入和输出，非常适合数据密集型计算。Map/Reduce通过把对数据集的大规模操作分发给网络上的每个节点实现可靠性；每个节点会周期性地返回它所完成的 ...
分类：
其他好文 时间：
2017-06-02 17:50:53
阅读次数：
207
最近在写本科的毕业论文，题目是有关于MapReduce的并行化处理，老师给出修改意见中提到了关于分布式计算框架的的国内外研究现状，一开始并没有搞懂分布式计算机框架，以为是MapReduce。MapReduce只是一种并行编程模式，也可以是一种并行框架，并不是分布式计算框架。百度得知，比如Hadoop ...
分类：
其他好文 时间：
2017-05-28 12:26:10
阅读次数：
225
Alchemi [.NET网格计算框架] 是 一个以使用简易为目的的Windows下的网格计算框架。它提供了：a）开发网格软件的编程环境 和 b）建造网格和运行网格软件的运行机制。 Alchemi提供了软件合成的弹性。你可以使用强劲的网格线型模式以任何.NET支援的语言写网格软件。 或者把现有的软件 ...
分类：
Web程序 时间：
2017-05-25 23:19:49
阅读次数：
196
企业中的比较全面HADOOP的生态架构 HDFS ：分布式文件系统 YARN：分布式资源管理 MapReduce：离线计算框架 Spark：内存计算框架 Hive：数据仓库 （HQL），提供一种类SQL的数据处理方法 Pig：一种数据流语言，用来快速轻松的处理巨大的数据 HBase：分布式数据库 O ...
分类：
其他好文 时间：
2017-05-22 01:22:50
阅读次数：
254
3. Yarn-Cluster Yarn是一种统一资源管理机制，可以在上面运行多种计算框架。Spark on Yarn模式分为两种：Yarn-Cluster和Yarn-Client，前者Driver运行在Worker节点，后者Driver运行在Client节点上。采用Spark on Yarn模式， ...
分类：
其他好文 时间：
2017-05-15 18:34:56
阅读次数：
236
开始聊MapReduce，MapReduce是Hadoop的计算框架，我学Hadoop是从Hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技 ...
分类：
其他好文 时间：
2017-05-09 13:54:08
阅读次数：
245
背景 公司数据处理具有两个计算框架，单机框架和MR框架。眼下我已经抽象出一套API interface, 供业务计算开发者使用。并分别在两个计算框架下实现了API的运行调度。应用开发者有时间须要通过上传override的配置文件。来调整业务计算參数。单机框架易于实现。但在MR框架里，须要解决over ...
分类：
系统相关 时间：
2017-05-08 09:57:58
阅读次数：
150
本节内容 1.大数据基础 1.1大数据平台基本框架 1.2学习大数据的基础 1.3学习Spark的Hadoop基础 2.Hadoop生态基本介绍 2.1Hadoop生态组件介绍 2.2Hadoop计算框架介绍 3.Spark概述 3.1 Spark出现的技术背景 3.2 Spark核心概念介绍 4. ...
分类：
其他好文 时间：
2017-05-07 21:59:08
阅读次数：
317
基于OpenGL ES的深度学习框架编写背景与工程定位背景项目组基于深度学习实现了视频风格化和人像抠图的功能，但这是在PC/服务端上跑的，现在需要移植到移动端，因此需要一个移动端的深度学习的计算框架。...
分类：
其他好文 时间：
2017-05-06 23:03:13
阅读次数：
280
分布式系统实践 1. 一文读懂大数据计算框架与平台 http://dwz.cn/5SgDC5 摘要: 这篇文章从批处理模型, 流式计算模型和交互式分析模型三个角度总结了开源大数据框架的特点, 对于大家了解大数据平台的全貌有一定的帮助. 2. 美团的大数据平台架构实践 http://dwz.cn/5T ...
分类：
其他好文 时间：
2017-05-05 21:51:02
阅读次数：
182
