欲说MapReduce，好程序员要和大家先讲一对概念——移动数据和移动计算。 在学习大数据的时候，我们便会接触移动数据和移动计算，这两种联系紧密而又有很大不同的概念，其中移动计算也叫做本地计算。 在以前的数据处理中时使用的移动数据，其实就是将需要处理的数据传输到存放不同处理数据方式逻辑的各个节点上。 ...
分类：
其他好文 时间：
2019-05-14 11:09:47
阅读次数：
113
在写一个mapreduce类之前先添加依赖包 新建一个WordCountMapper类 定义WordCountReducer类 定义WordCountRunner类 打成架包 把打包好的架包上传到集群 然后在集群上运行一个wordcount小案例 ...
分类：
其他好文 时间：
2019-05-13 23:06:00
阅读次数：
129
mapreduce就是分合的管理艺术，先分开计算，再合并归总 推荐系统大概流程 用kafka做实时数据读写，实现实时分析 加上机器学习的推荐 ...
分类：
其他好文 时间：
2019-05-10 16:26:49
阅读次数：
72
很多人都知道大数据很火，就业很好，薪资很高，想往大数据方向发展。但该学哪些技术，学习路线是什么样的呢？ 其实就是想告诉你的大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。请不要问我哪个好学，哪个钱多。 先说一下大数据的4V特征： 数据量大，TB->PB 数据 ...
分类：
其他好文 时间：
2019-05-10 12:42:14
阅读次数：
125
一、Spark是什么？ 快速且通用的集群计算平台 二、Spark的特点： 1. 快速：Spark扩充流行的Mapreduce计算模型，是基于内存的计算 2. 通用：Spark的设计容纳了其它分布式系统拥有的功能，批处理、迭代式计算、交互查询和流处理等，降低了维护成本 3. 高度开放：Spark提供P ...
分类：
其他好文 时间：
2019-05-09 21:33:25
阅读次数：
135
1.Spark是什么?UCBerkeley AMPlab所开源的类HadoopMapReduce的通用的并行计算框架。dfsSpark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不 ...
分类：
其他好文 时间：
2019-05-09 15:29:52
阅读次数：
89
set mapreduce.map.memory.mb = 4096; set mapreduce.reduce.memory.mb = 4096; ...
分类：
其他好文 时间：
2019-05-09 12:06:39
阅读次数：
131
Container 是 YARN 中基本的处理单元，它是对内存、CPU等计算的封装。总的来说，每个core每块硬盘 分配2个 container，能获得较好的集群利用率。 1. 确定可用内存大小。 对于每台主机来说，YARN 和 MapReduce 能用内存大小是除去预留给系统的内存（如果还有 HB ...
分类：
其他好文 时间：
2019-05-08 14:33:06
阅读次数：
131
Apache Spark是一个集群计算设计的快速计算。它是建立在Hadoop MapReduce之上，它扩展了 MapReduce 模式，有效地使用更多类型的计算，其中包括交互式查询和流处理。这是一个简单的Spark教程，介绍了Spark核心编程的基础知识。 工业公司广泛的使用 Hadoop 来分析 ...
分类：
编程语言 时间：
2019-05-08 09:17:58
阅读次数：
150
HadoopHDFSMapReduce Hadoop是Apache基金会所开发的分布式系统基础架构。最核心的设计就是：HDFS和MapReduce。 HDFS为海量的数据提供了存储 MapReduce则为海量的数据提供了计算 HDFS 分布式文件系统（Hadoop Distributed File ...
分类：
其他好文 时间：
2019-05-08 00:31:43
阅读次数：
132
