关于手动编译hadoop入门例子WordCount并执行 之前做的例子都是用hadoop中已经编译好jar包来运行示例的但是这次想要手动编译个实例，练下手没想到还是遇到点了小困难 [root@centos WordCount]# hadoop jar WordCount.jar /wc/input ... ...
分类：
编程语言 时间：
2016-05-13 10:20:18
阅读次数：
282
初学mr时，觉得没什么，但是学了一段时间，重新复习时发现程序中mr程序中一般都会有 hadoop中的job.setOutputKeyClass(theClass)与job.setOutputValueClass(theClass)， 但是有的程序处理以上两个外还有job.setMapOutputKe ...
分类：
其他好文 时间：
2016-05-13 09:08:32
阅读次数：
102
一：课程结构
二：hadoop是什么
hadoop是适合大数据的分布式存储与计算的平台
三：数据的分布式存储
四：hadoop中的概念
在分布式存储系统中，分散在不同节点中的数据可能属于同一个文件，为了组织众多的文件，把文件可以放到不同的文件夹中，文件夹可以一级一级的包含。我们把这种组织形式称为命名空间（namespace）。命名空间管理着整个服务...
分类：
其他好文 时间：
2016-05-13 03:12:12
阅读次数：
167
1）先进先出调度器（FIFO）
2）公平调度器（FairScheduler）
3）容量调度器（CapacityScheduler）FIFO调度器
1）FIFO调度器是hadoop中默认的调度器，它先遵循高优先级优先，然互按照作业到来的顺序进行调度
2）这种默认的调度器的一个缺点是：高优先级以及需要长时间运行的作业一直在被处理，而低优先级以及短作业将长时间得不到调度FairScheduler（...
分类：
其他好文 时间：
2016-05-12 21:07:18
阅读次数：
299
Hadoop资源管理由两部分组成：资源表示模型和资源分配模型。其中，资源表示模型用于描述资源的组织方式，Hadoop采用“槽位”（slot）组织各节点上的资源；而资源分配模型则决定如何将资源分配给各个作业/任务，在Hadoop中，这一部分由一个插拔式的调度器完成。
Hadoop引入了“slot”概念表示各个节点上的计算资源。为了简化资源管理，hadoop将各个节点上的资源（CPU、内存和磁盘等）等...
分类：
其他好文 时间：
2016-05-12 13:36:34
阅读次数：
144
Hive是什么？
Hive是建立在 Hadoop
上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在
Hadoop
中的大规模数据的机制。Hive定义了简单的类
SQL 查询语言，称为HQL
，它允许熟悉SQL
的用户查询数据。同时，这个语言也允许熟悉MapReduce
开发者的开发自定义的map...
分类：
其他好文 时间：
2016-05-12 13:12:44
阅读次数：
114
说明
在Hadoop中执行的任务有时候需要把多个Map/Reduce作业连接到一起，这样才能够达到目的。在Hadoop生态圈中，Oozie它让我们可以把多个Map/Reduce作业组合到一个逻辑工作单元中，从而完成更大型的任务。
原理
Oozie是一种Java Web应用程序，它运行在Java servlet容器——即Tomcat——中，并使用数据库来存储以下内容：
工作流定义
当前运行...
分类：
其他好文 时间：
2016-05-12 12:26:41
阅读次数：
177
Hadoop的体系结构 Hadoop不仅是一个用于分布式存储的分布式文件系统，而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。 HDFS和MapReduce是Hadoop中的两个最基础、最重要的成员，它们提供了互补性服务或在核心层上提供了更高层的服务。 Pig Chukwa Hiv... ...
分类：
其他好文 时间：
2016-05-11 11:16:39
阅读次数：
123
http://10.18.51.52:9999/hwi/; 此为配置安装完网页浏览地址。Hive是基于hadoop的，所以先安装完成hadoop。 export HIVE_HOME=/usr/hive export HIVE_CONF_DIR=$HOME/hive-conf export CLASS ...
分类：
其他好文 时间：
2016-05-10 23:37:35
阅读次数：
222
HBase是什么？
HBase是Apache Hadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作，如右侧的图所示：
为什么采用HBase？
HBase 不同于一般的关系数据库,它是一个适合...
分类：
其他好文 时间：
2016-05-06 15:33:53
阅读次数：
202
