什么是RPC?1、RPC(Remote Procedure Call）远程过程调用，它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去关心底层的网络通信细节，对我们来说是透明的。经常用于分布式网络通信中。
2、Hadoop的进程间交互都是通过RPC来进行的，比如Namenode与Datanode之间，Jobtracker与Tasktracker之间等。RPC协议假定某些传输协议的存在，如...
分类：
其他好文 时间：
2015-06-08 21:37:20
阅读次数：
169
1.hadoop的分布式安装过程
1.1 分布结构
主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode
从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker
1.2 各节点重新产生ssh加...
分类：
其他好文 时间：
2015-06-03 23:32:38
阅读次数：
151
首先我们先回顾一下Hadoop的一些概念： Apache Hdoop 1.x 组成 NameNode(元数据服务器) Secondary NameNode(辅助元数据服务器) JobTracker(任务调度员) DataNodes(块存储) TaskTrac...
分类：
其他好文 时间：
2015-05-28 22:56:15
阅读次数：
230
问：在eclipse中的写的代码如何提交作业到JobTracker中的哪？
答：(1)在eclipse中调用的job.waitForCompletion(true)实际上执行如下方法
connect();
info = jobClient.submitJobInternal(conf);
(2)在connect()方法中，实际上创建了一个JobCli...
分类：
其他好文 时间：
2015-05-27 01:02:32
阅读次数：
125
我们开始来分析HadoopMapReduce的内部的运行机制。用户向Hadoop提交Job（作业），作业在JobTracker对象的控制下执行。Job被分解成为Task（任务），分发到集群中，在TaskTracker的控制下运行。Task包括MapTask和ReduceTask，是MapReduce的Map操作和Reduce操作执行的地方。这中任..
分类：
其他好文 时间：
2015-05-26 16:31:53
阅读次数：
143
我们开始来分析Hadoop MapReduce的内部的运行机制。用户向Hadoop提交Job（作业），作业在JobTracker对象的控制下执行。Job被分解成为Task（任务），分发到集群中，在TaskTracker的控制下运行。Task包括MapTask和R...
分类：
其他好文 时间：
2015-05-26 12:55:33
阅读次数：
226
我们开始来分析Hadoop MapReduce的内部的运行机制。用户向Hadoop提交Job（作业），作业在JobTracker对象的控制下执行。Job被分解成为Task（任务），分发到集群中，在TaskTracker的控制下运行。Task包括MapTask和ReduceTask，是MapReduce的Map操作和Reduce操作执行的地方。这中任务分布的方法比较类似于HDFS中NameNode和...
分类：
其他好文 时间：
2015-05-26 12:47:45
阅读次数：
146
我们开始来分析Hadoop MapReduce的内部的运行机制。用户向Hadoop提交Job（作业），作业在JobTracker对象的控制下执行。Job被分解成为Task（任务），分发到集群中，在TaskTracker的控制下运行。Task包括MapTask和ReduceTask，是MapReduc...
分类：
其他好文 时间：
2015-05-26 12:28:52
阅读次数：
155
如果你想让你手写的workflow.xml成功的倒入到Hue的Oozie Designer里，你需要注意如下几点：
关于chema的版本：oozie最高只能是0.4，hive-action最高只能是0.2, istcp-action最高只能是0.1！！
对于jobTracker和nameNode属性，hue的oozie designer生成的workflow.xml文件是hard code使用的!!...
分类：
其他好文 时间：
2015-05-21 10:51:17
阅读次数：
152
问题描述在当前版本的HUE(2.6.1-2)里，oozie editor存在一个糟糕的BUG: 用户无法在workflow的配置中指定${jobTracker}和${nameNode}的值，尽管我尝试了所有可以尝试的地方，但是当通过hue去submit(不是通过oozie的命令行）一个workflow时，${jobTracker}和${nameNode}的值都被无情的重置了！如果这两个属性的值刚好是...
分类：
其他好文 时间：
2015-05-19 13:04:49
阅读次数：
193
