MapReduce内部机制：本地性 什么是数据本地性（data locality） > 如果任务运行在它将处理的数据所在的节点，则称该任务 具有“数据本地性” 本地性可避免跨节点或机架数据传输，提高运行效率 数据本地性分类 > 同节点(node-local) 同机架(rack-local) 其他（o ...
分类：
其他好文 时间：
2017-06-25 23:52:37
阅读次数：
184
一、下载安装包 解压安装包并创建data,name,tmp文件夹 二、修改配置文件 1、core-site.xml 2、mapred-site.xml (修改原来的mapred-site.xml.template) 3、hdfs-site.xml 4、yarn-site.xml 四、替换原下载安装包 ...
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算。 HDFS是Google File System（GFS）的开源实现，MapReduce是Google MapReduce的开源实现。 HDFS和MapRed ...
分类：
其他好文 时间：
2017-06-09 14:14:09
阅读次数：
254
默认情况下，/usr/local/hadoop/etc/hadoop/文件夹下有mapred.xml.template文件，我们要复制该文件，并命名为mapred.xml，该文件用于指定MapReduce使用的框架。 复制并重命名 cp mapred-site.xml.template mapred ...
分类：
其他好文 时间：
2017-06-08 00:20:51
阅读次数：
308
一、YARN基本架构 YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的 ...
分类：
其他好文 时间：
2017-06-04 12:50:46
阅读次数：
185
数据进制： 1bit = 1位 1byte =8bit 1k=1024b 1m=1024k 1g=1024m 1t=1024g 1p=1024t 1e=1024p 1z=1024e 1y=1024z 存储 1、分割 分布式 ：dfs 2、运算 mapreduce : map (映射) reduce( ...
分类：
其他好文 时间：
2017-05-18 14:50:27
阅读次数：
177
首先可以通过hdfs.site.xml下面的dfs.block.size来设置数据的块大小，这个参数会决定map的总数目（4194304=4m） 然后通过mapred.site.xml下面的mapreduce.map.memory.mb参数来设置每个map分到的内存数目。 通过yarn.sidt.x ...
分类：
其他好文 时间：
2017-05-16 23:24:03
阅读次数：
267
译序非常多朋友问时下如火如荼的 Hadoop 是否适合引进我们自己的项目，什么时候用 SQL。什么时候用 Hadoop，它们之间怎样取舍？Aaron Cordova 用一张图来回答你这个问题，对于不同的数据场景，怎样选取正确的数据存储处理工具进行了具体描写叙述。Aaron Cordova 是美国大数 ...
分类：
数据库 时间：
2017-05-14 13:41:44
阅读次数：
293
讲准备好的文本文件放到hdfs中 执行 hadoop 安装包中的例子 查看执行结果： ...
分类：
其他好文 时间：
2017-05-14 12:30:43
阅读次数：
260
1.提交作业，作业进入PREP状态 oozie job -oozie http://localhost:11000/oozie -config job.properties -submit job: 14-20090525161321-oozie-joe 2.执行已提交的作业 oozie job - ...
分类：
其他好文 时间：
2017-05-04 00:14:25
阅读次数：
475
