Container是什么？ Container就是一个yarn的java进程，在Mapreduce中的AM，MapTask，ReduceTask都作为Container在Yarn的框架上执行，可以在RM的网页上看到Container的状态。 基础 Yarn的ResourceManger(简称RM)通 ...
分类：
其他好文 时间：
2019-08-30 18:37:37
阅读次数：
71
MapReduce案例 1.单词计数--wordcount 首先准备好文件 开始编写程序 2.计算每个人的钱数 文件1 文件2 代码编写 3.求出共同好友 准备文件 编写代码 上面的程序输出的结果 最终结果展示 4.读取JSON数据 5.分区解决数据倾斜 准备一个文件里面一个单词非常多别的很少 5. ...
分类：
其他好文 时间：
2019-08-29 16:04:43
阅读次数：
62
MapReduce和自定义Partition MobileDriver主类 JobUtils工具类 Map自定义类 Reduce自定义类 Partition自定义分区类 ...
分类：
移动开发 时间：
2019-08-28 22:23:45
阅读次数：
145
mapreduce执行时报java.net.ConnectException 在执行mapreduce程序时出现java.net.ConnectException: 拒绝连接异常,在错误信息中看到" localhost:35334"字眼,怀疑是没有配置主机名的原因, (1)尝试对每台虚拟机设置主机名 ...
分类：
编程语言 时间：
2019-08-28 09:25:39
阅读次数：
99
Linux的NUMA机制 http://www.litrin.net/2014/06/18/linux的numa机制/ NUMA(Non-Uniform Memory Access)字面直译为“非一致性内存访问”，对于Linux内核来说最早出现在2.6.7版本上。这种特性对于当下大内存+多CPU为潮 ...
分类：
系统相关 时间：
2019-08-28 01:19:34
阅读次数：
102
MongoDB 数据库 一、MongoDB 简介（了解） ? MongoDB 数据库是一种 NOSQL 数据库，NOSQL 数据库不是这几年才有的，从数据库的初期发展就以及存在了 NOSQL 数据库。数据库之中支持的 SQL 语句是由 IBM 开发出来的，并且最早就应用在了 Oracle 数据库，但 ...
分类：
数据库 时间：
2019-08-27 19:21:44
阅读次数：
310
大数据学习路线分享MapReduce全过程解析，移动数据与移动计算 在学习大数据的时候接触了移动数据和移动计算这两种联系紧密而又有很大不同的概念，其中移动计算也叫做本地计算。 在以前的数据处理中时使用的移动数据，其实就是将需要处理的数据传输到存放不同处理数据方式逻辑的各个节点上。这样做的效率很低，特 ...
分类：
其他好文 时间：
2019-08-27 17:29:13
阅读次数：
90
Map Reduce是一个计算框架。Map函数发送到所有含有涉及数据的节点上运行，而Reduce之运行在多台主机上用作收集map结果用，reduce数量取决于reduce收集函数分了几个组，只在几个几个节点上运行。 shuffle机制：分组排序 MapReduce执行过程 map进程数量基于切片思想 ...
分类：
其他好文 时间：
2019-08-26 00:15:36
阅读次数：
87
以Wordcount程序为例，简单描述MapReduce程序的编程模型。 MapReduce程序组成 MapReduce程序一般分成三个部分： 一个程序主引导部分； 一个Map程序部分； 一个Reduce部分。 主引导部分用来设置MapReduce（以下简称 “ MR” ）程序的一些非业务逻辑属性， ...
分类：
其他好文 时间：
2019-08-26 00:09:34
阅读次数：
84
Hadoop 是什么 Hadoop 是一个开源的大数据框架同时也是一个分布式计算的解决方案。Hadoop = HDFS （分布式文件系统）+MapReduce（分布式计算） HDFS HDFS 概念 数据块 NameNode DataNode 数据块： 数据块是一个抽象的块，而不是整个文件。默认大小 ...
分类：
其他好文 时间：
2019-08-25 12:00:12
阅读次数：
120
