MR系类： ①hadoop生态 >MapReduce:分布式处理 >Hdfs:hadoop distribut file system >其他相关框架 ->unstructured data:收集日志 flume,scribe ->structured data:sqoop hdfs与关系型数据库相 ...
分类：
其他好文 时间：
2016-09-27 13:31:31
阅读次数：
177
上图中的ABCDE都代表默认大小64M的数据块 nameNode与dataNode之间有一个心跳机制，datanode每隔多秒钟定期的发送心跳到nameNode ...
分类：
其他好文 时间：
2016-08-20 14:43:07
阅读次数：
106
1、组成部分HDFS和MapReduce 2、HDFS这几架构 ...
分类：
其他好文 时间：
2016-08-20 14:33:27
阅读次数：
132
从前面的学习中，我们了解到了MapReduce整个过程需要经过以下几个步骤： 1.输入(input):将输入数据分成一个个split，并将split进一步拆成<key, value>。 2.映射(map)：根据输入的<key, value>进生处理， 3.合并(combiner)：合并中间相两同的k ...
分类：
其他好文 时间：
2016-08-08 17:39:55
阅读次数：
229
之前，我们把hadoop从下载包部署到编写了helloworld，看到了结果。现是得开始稍微更深入地了解hadoop了。 Hadoop包含了两大功能DFS和MapReduce， DFS可以理解为一个分布式文件系统，存储而已，所以这里暂时就不深入研究了，等后面读了其源码后，再来深入分析。 所以这里主要 ...
分类：
其他好文 时间：
2016-08-08 17:36:22
阅读次数：
209
整个Hadoop是基于Java开发的，所以要开发Hadoop相应的程序就得用JAVA。在linux下开发JAVA还数eclipse方便。 1、下载 进入官网：http://eclipse.org/downloads/。 找到相应的版本进行下载，我这里用的是eclipse-SDK-3.7.1-linu ...
分类：
其他好文 时间：
2016-08-08 17:36:08
阅读次数：
202
Hadoop一直是我想学习的技术，正巧最近项目组要做电子商城，我就开始研究Hadoop，虽然最后鉴定Hadoop不适用我们的项目，但是我会继续研究下去，技多不压身。 《Hadoop基础教程》是我读的第一本Hadoop书籍，当然在线只能试读第一章，不过对Hadoop历史、核心技术和应用场景有了初步了解 ...
分类：
其他好文 时间：
2016-08-08 17:26:56
阅读次数：
96
前面，我们已经在单机上把Hadoop运行起来了，但我们知道Hadoop支持分布式的，而它的优点就是在分布上突出的，所以我们得搭个环境模拟一下。 在这里，我们采用这样的策略来模拟环境，我们使用3台ubuntu机器，1台为作主机(master)，另外2台作为从机(slaver)。同时，这台主机，我们就用 ...
分类：
其他好文 时间：
2016-08-08 17:25:45
阅读次数：
158
上一章中，我们把hadoop下载、安装、运行起来，最后还执行了一个Hello world程序，看到了结果。现在我们就来解读一下这个Hello Word。 OK，我们先来看一下当时在命令行里输入的内容： ? 1 2 3 4 5 6 7 8 $mkdir input $cd input $echo "h ...
分类：
其他好文 时间：
2016-08-08 17:12:35
阅读次数：
179
Hadoop组成 包括两个核心组成：HDFS：分布式文件系统，存储海量的数据MapReduce：并行处理框架，实现任务分解和调度 搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务（搜索引擎、日志分析、商业智能、数据挖掘） 安装Java JDK 1,进入Sshell，检测是否安装java2， ...
分类：
其他好文 时间：
2016-05-11 01:19:03
阅读次数：
142
