如果你想让你手写的workflow.xml成功的倒入到Hue的Oozie Designer里，你需要注意如下几点：
关于chema的版本：oozie最高只能是0.4，hive-action最高只能是0.2, istcp-action最高只能是0.1！！
对于jobTracker和nameNode属性，hue的oozie designer生成的workflow.xml文件是hard code使用的!!...
分类：
其他好文 时间：
2015-05-21 10:51:17
阅读次数：
152
[转]1.概述光从字面上来理解，很容易让一些初学者先入为主的认为：SecondaryNameNode(snn)就是NameNode(nn)的热备进程。X 其实不是。snn是HDFS架构中的一个组成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是用来保存namenode中对HDFS ...
分类：
其他好文 时间：
2015-05-20 22:06:32
阅读次数：
164
与DataNode节点类似，NameNode节点也有自己的目录和类继承结构，但是NameNode节点的目录结构比DataNode节点就简单多了，下面就来简单分析NameNode节点的目录构成与类继承结构。NameNode的目录构成在NameNode节点运行时，维护着整个HDFS中的文件及目录信息，如...
分类：
其他好文 时间：
2015-05-20 18:01:06
阅读次数：
116
问题描述在当前版本的HUE(2.6.1-2)里，oozie editor存在一个糟糕的BUG: 用户无法在workflow的配置中指定${jobTracker}和${nameNode}的值，尽管我尝试了所有可以尝试的地方，但是当通过hue去submit(不是通过oozie的命令行）一个workflow时，${jobTracker}和${nameNode}的值都被无情的重置了！如果这两个属性的值刚好是...
分类：
其他好文 时间：
2015-05-19 13:04:49
阅读次数：
193
1、core-site.xml文件这是一个描述集群中NameNode结点的URI-统一资源标识符（包括协议，主机名称，端口号），集群里面的每一台机器都需要知道 NameNode的地址。DataNode结点会先在NameNode上注册，这样它们的数据才可以被利用。独立的客户端程序通过这个URI跟 Da...
分类：
其他好文 时间：
2015-05-19 00:32:41
阅读次数：
109
搞定ClientProtocol，接下来是DatanodeProtocol部分。接口如下：
public DatanodeRegistration register(DatanodeRegistration nodeReg
) throws IOException
用亍DataNode向NameNode登记。输入和输出参数都是DatanodeRegistration，类图如下：
...
分类：
其他好文 时间：
2015-05-18 23:13:44
阅读次数：
326
我们知道hadoop1.x之前的namenode存在两个主要的问题：1、namenode内存瓶颈的问题，2、namenode的单点故障的问题。针对这两个问题，hadoop2.x都对它进行改进和解决。其中，问题1中对namenode内存瓶颈的问题采用扩展namenode的方式来解决。对于问题2中的.....
分类：
其他好文 时间：
2015-05-18 20:35:39
阅读次数：
119
1、安装JDK（此处以安装JDK1.6为例，具体安装JDK的版本不限）
（1）下载安装JDK：确保计算机联网之后命令行输入下面命令安装JDK
sudo apt-get install sun-java6-jdk
（2）配置计算机Java环境：打开/etc/profile，在文件最后输入下面内容
export JAVA_HOME = （Java安装目录）...
分类：
系统相关 时间：
2015-05-16 23:28:42
阅读次数：
397
一、安装系统
虚拟软件 ： VMware workstation 10
系统： Centos 6.4 32bit
Master IP : 192.168.56.131
Slave IP : 192.168.56.132
User & pass: hadoop
注：一台充当master(namenode)，一台充当slave(datanode)。这是最小...
分类：
其他好文 时间：
2015-05-15 19:57:42
阅读次数：
128
HDFS设计前提与目标：1、硬件错误时常态2、流式数据访问3、大规模数据集4、简单一致性模型5、移动计算比移动数据更划算一个HDFS集群包含一个单独的NameNode节点、多台DataNode服务器，并且同时被多个客户端访问，如图所示。所有的这些机器通常都是普通的Linux机器，运行着用户级别(us...
分类：
编程语言 时间：
2015-05-14 18:22:44
阅读次数：
235
