1.提出问题 在上篇博文中，提到了为什么要配置ssh免密码登录，说是Hadoop控制脚本依赖SSH来执行针对整个集群的操作，那么Hadoop中控制脚本都是什么东西呢？具体是如何通过SSH来针对整个集群的操作？网上完全分布模式下Hadoop的搭建很多，可是看完后，真的了解吗？为什么要配置Hadoop下...
分类：
其他好文 时间：
2014-11-30 20:00:47
阅读次数：
283
1.Hadoop中为什么要配置免密码登录最近在学习Hadoop，在集群中，Hadoop控制脚本依赖SSH来执行针对整个集群的操作。例如，某个脚本能够终止并重启集群中的所有守护进程。所以，需要安装SSH，但是，SSH远程登陆的时候，需要密码验证，集群中数千台计算机，数千台计算机都需要手工输入密码，这是...
分类：
其他好文 时间：
2014-11-30 20:00:08
阅读次数：
329
作为典型的分布式系统，Hadoop中各个实体间存在着大量的交互，远程过程调用让用户可以像调用本地方法一样调用另外一个应用程序提供的服务，而不必设计和开发相关的信息发送、处理和接收等具体代码，是一种重要的分布式计算技术，它提高了程序的互操作性，在Hadoop的实现中得到..
分类：
其他好文 时间：
2014-11-30 17:21:33
阅读次数：
166
作为典型的分布式系统，Hadoop中各个实体间存在着大量的交互，远程过程调用让用户可以像调用本地方法一样调用另外一个应用程序提供的服务，而不必设计和开发相关的信息发送、处理和接收等具体代码，是一种重要的分布式计算技术，它提高了程序的互操作性，在Hadoop的实现中得到..
分类：
其他好文 时间：
2014-11-30 17:21:27
阅读次数：
150
出自：http://www.cnblogs.com/xia520pi/archive/2012/01/02/2310118.html1）Cygwin相关资料 （1）Cygwin上安装、启动ssh服务失败、ssh localhost失败的解决方案 地址：http://blog.163.com/pw.....
分类：
其他好文 时间：
2014-11-22 18:44:58
阅读次数：
416
在Hadoop中，启动作业运行的方式有很多，可以用命令行格式把打包好后的作业提交还可以，用Hadoop的插件进行应用开发，在这么多的方式中，都会必经过一个流程，作业会以JobInProgress的形式提交到JobTracker中。什么叫JobTracker呢，也许有些人了解Hadoop只知道他的MapReduce计算模型，那个过程只是其中的Task执行的一个具体过程，比较微观上的流程，而JobTr...
分类：
其他好文 时间：
2014-11-21 23:24:09
阅读次数：
302
本篇文章学习了hadoop中容量调度器的特性，并详细描述了配置参数...
分类：
其他好文 时间：
2014-11-21 18:54:05
阅读次数：
263
Hive自身查询语言HQL能完成大部分的功能，但遇到特殊需求时，需要自己写UDF实现。以下是一个完整的案例。
1、eclipse中编写UDF
①项目中加入hive的lib下的所有jar包和Hadoop中share下hadoop-common-2.5.1.jar（Hadoop目前最新版本2.5.1）。
②UDF类要继承org.apache.hadoop.hive.ql.exec.UDF类，类中...
分类：
其他好文 时间：
2014-11-19 22:17:44
阅读次数：
350
Yarn的JVM重用功能——uberhttp://blog.csdn.net/samhacker/article/details/15692003Hadoop：TheDefinitiveGuid总结Chapter6MapReduce的工作原理http://www.cnblogs.com/biyeymyhjob/archive/2012/08/11/2631750.html浅谈hadoop中mapreduce的文件分发http://blog.csdn.net/zgc..
分类：
其他好文 时间：
2014-11-19 02:09:20
阅读次数：
179
在hadoop-1.2.1中运行所遇到的问题：2014-11-14 22:43:42 在服务器上运行hadoop-1.2.1中的datanode，出现了内存占用过大，导致ssh登陆出现如下问题：1、# There is insufficient memory for the Java Runtime...
分类：
其他好文 时间：
2014-11-14 23:59:18
阅读次数：
497
