假设NameNode在hadoop1上，JobTracker在hadoop2上1.1 NameNode所在节点是通过配置文件core-site.xml的fs.default.name的值体现的。 值还是hdfs://hadoop1:9000 JobTracker所在节点是通过配置文件map...
分类：
其他好文 时间：
2015-12-04 00:54:47
阅读次数：
207
鲁春利的工作笔记，谁说程序员不能有文艺范？MapReduce提供了许多默认的输出格式，如TextOutputFormat、KeyValueOutputFormat等。MapReduce中输出文件的个数与Reduce的个数一致，默认情况下有一个Reduce，输出只有一个文件，文件名为part-r-00000，文件内容的行数与map输出中不..
分类：
其他好文 时间：
2015-12-03 15:47:51
阅读次数：
510
之前有朋友问如何搭建一个更为稳定、数据更为安全、执行效率更高的Hadoop集群，其实搭建一个HA机制的集群就能满足这些需求。所以就以前的工作上的一些经验和总结来和大家介绍一下什么是高可用的Hadoop集群，以及如何把这个高可用的Hadoop集群搭建起来1、什么是HA机制 1.1、Hadoop-HA....
分类：
其他好文 时间：
2015-12-03 02:17:08
阅读次数：
231
鲁春利的工作笔记，谁说程序员不能有文艺范？一个最简单的MapReduce程序packagecom.lucl.hadoop.mapreduce;
publicclassMiniMRDriverextendsConfiguredimplementsTool{
publicstaticvoidmain(String[]args){
try{
ToolRunner.run(newMiniMRDriver(),args);
}catch(Exceptione)..
分类：
其他好文 时间：
2015-12-01 01:50:09
阅读次数：
262
ubuntu14.04安装hadoop2.7.1伪分布式和错误解决需要说明的是我下载的是源码，通过编译源码并安装一、需要准备的软件：1.JDK和GCC 设置JAVA_HOME： vim ~/.bashrc 在最后增加：export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_31...
分类：
系统相关 时间：
2015-11-30 12:56:35
阅读次数：
407
基于hadoop2.6.2。。。。一张图Server启动，Client访问。。。。。使用hadoop ipc步骤： 1.定义RPC协议 2.实现RPC协议 3.构造和启动RPC SERVER 4.构造RPC Client并发送请求参考： http://www.cnblogs.com/dyc...
分类：
其他好文 时间：
2015-11-29 19:32:19
阅读次数：
135
鲁春利的工作笔记，谁说程序员不能有文艺范？HDFS读文件解析HDFS写文件解析
分类：
其他好文 时间：
2015-11-29 06:43:34
阅读次数：
484
鲁春利的工作笔记，谁说程序员不能有文艺范？HDFSArchitecture见：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html或下载的tar包解压后的hadoop-2.6.0/share/doc/hadoop/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html官方给出的架..
分类：
其他好文 时间：
2015-11-26 01:32:12
阅读次数：
102
