MapReduce MapReduce计算模型 1. MapReduce的思想就是“ 分而治之” Map 负责“分”，即把复杂的任务分解为若干个“简单的任务”来处理。“简单的任务”包含三层含义：一是数据或计算的规模相对任务要大大缩小；二是就近计算原则，即任务会分配到存放着所需数据的节点上进行计算；三 ...
分类：
其他好文 时间：
2018-08-01 20:47:50
阅读次数：
147
恢复内容开始 配置MapReduce需要在之前配置的基础上配置两个xml文件一个是yarn-site.xml一个是mapred-site.xml，在之前配置的hadoop的etc目录下可以找到 下边进行配置过程首先 1、配置yarn-site.xml 这里需要解释一下，yarn的基本思想是将JobT ...
分类：
编程语言 时间：
2018-07-18 17:09:47
阅读次数：
500
下载地址： "网盘下载" 《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》内容简介：“Hadoop技术内幕”共两册，分别从源代码的角度对“Common+HDFS”和“MapReduce的架构设计和实现原理”进行了极为详细的分析。《Hadoop技术内幕:深入解析MapReduce ...
分类：
其他好文 时间：
2018-07-14 18:25:19
阅读次数：
143
1.前提：MapReduce能配置的前提是hdfs能够正常运行 2.在1的基础上，配置两个文件： 在hadoop文件夹下配置两个文件mapred-site.xml（由mapred-site.xml.template） 和 yarn-site.xml yarn-site.xml mapred-site ...
分类：
其他好文 时间：
2018-07-13 17:44:48
阅读次数：
184
Hadoop安装1、linux准备2、jdk准备，设置环境变量3、hadoop下载准备，解压后./conf 需要配置4个文件 hadoop-env.sh 修改java_home的目录 core-site.xml 配置 工作目录、元数据目录、如何访问 hdfs-site.xml 配置数据的路径 map ...
分类：
其他好文 时间：
2018-07-13 00:05:34
阅读次数：
150
17.1大型数据集的学习 首先通过学习曲线判断是否增大数据集有效： 高方差时（交叉验证集误差减去训练集误差大时）增加数据集可以提高系统。下图中左图增加数据集有效，右图无效。 17.2随机梯度下降法 随机梯度下降法是只使用一个样本来迭代，其损失函数为： 迭代过程为： 特点： (1)计算量小，迭代速度快 ...
分类：
其他好文 时间：
2018-07-07 17:45:50
阅读次数：
201
单机模式所需要的系统资源是最少的，这种安装模式下，Hadoop的core-site.xml、mapred-site.xml、hdfs-site.xml配置文件均为空。默认情况下，官方hadoop-1.2.1.tar.gz文件默认使用的就是单机安装模式。当配置文件为空时，Hadoop完全运行在本地，不 ...
分类：
其他好文 时间：
2018-07-07 13:53:08
阅读次数：
171
在这个大数据已经成为市场一个美味的“大蛋糕”的今日，大多数企业都很想要分得一块。大多数企业正做好了布局大数据的准备，那么，该怎么做才能成功去布局? 最近，电子科技大学教授，云基地大数据实验室合伙人周涛在接受采访时提出，对于普通企业要通过修炼成为大数据企业，关键要做好7个步骤： 1.要实现数据化。企业 ...
分类：
其他好文 时间：
2018-07-05 19:57:41
阅读次数：
213
Shuffle简介 Shuffle描述着数据从map task输出到reduce task输入的这段过程。shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。因为在分布式情况下， ...
分类：
其他好文 时间：
2018-06-25 22:48:17
阅读次数：
296
bitmap -------------- 位图/位映射。 5 hive -------------- 分区表 udtf函数 wordcount lateral view //和udtf配合使用。 order by //数据倾斜 sort by ... ...
分类：
其他好文 时间：
2018-06-25 17:55:00
阅读次数：
195
