环境:OS:Centos 6.5 x64 & Soft:Hadoop
1.2.11、查看当前块大小,默认64M。[huser@master hadoop-1.2.1]$ bin/hadoop fs -stat "%o"
./in/test1.txt671088642、修改hdfs-site.conf...
分类:
其他好文 时间:
2014-05-06 08:59:21
阅读次数:
368
namenode 和 secondaryNamenode
运行在同一机器上,分离配置到新节点上。环境:OS:Centos 6.5 x64 & Soft:Hadoop
1.2.1master中的配置不是决定谁是namenode,而是决定谁是secondarynamenode。决定谁是namenode的...
分类:
其他好文 时间:
2014-05-06 01:08:13
阅读次数:
388
Hadoop集群实施成功后,再次格式化名称节点。环境:OS:Centos 6.5 x64 &
Soft:Hadoop 1.2.11、格式化之前hadoop集群正常。[huser@master hadoop-1.2.1]$ jps7927
SecondaryNameNode7773 NameNode8...
分类:
其他好文 时间:
2014-05-06 00:52:59
阅读次数:
491
题目:有3只狼和3只羊要过河,只有一条船,一次最多只能坐两只动物并且每次必须有动物开船,如果某一边的狼的个数大于羊的个数,羊将被吃掉,编程给出解。关于编程思路,参考:Java编程能力强化(2)——搜索解决方案类问题的通用解法参考答案:package
ch1;public class LangAndY...
分类:
其他好文 时间:
2014-05-06 00:40:23
阅读次数:
300
控制namenode检查点发生的频率。环境:OS:Centos 6.5 x64 &
Soft:Hadoop 1.2.11、修改core-site.xml,设置参数。 fs.checkpoint.period
1802、重启集群,查看namenode下文件更新频率,每隔180秒更新一次。[huser@...
分类:
其他好文 时间:
2014-05-06 00:26:48
阅读次数:
429
安装Java编程开发环境:Ubuntu默认安装openjava,可以通过java
-version查看是否安装。但我使用Ubuntu9.10升级到10.04LTS时,openjava没有了。另外,如果使用java作编程开发,最好还是用sun的java。1.下载地址:http://www.oracle...
分类:
编程语言 时间:
2014-05-05 23:42:59
阅读次数:
450
Java领域有很多著名的人物,他们为Java社区编写框架、产品、工具或撰写书籍改变了Java编程的方式。本文是《最受欢迎的8位Java牛人》的2.0版本。
PS:排名不分先后。本文的信息整理自网络博客,信息的真实性未经过严格筛选和确认。
1、James Duncan Davidson —— Tomcat 、 Ant
他曾是一名软件工程师,现在是一名摄影师。...
分类:
编程语言 时间:
2014-05-05 13:08:29
阅读次数:
487
本文将介绍Hadoop中的重点MapReduce的入门知识。(1)MapReduce概述MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题。MR由两个阶段组成:Map和Reduce,在Hadoop中用户只需要实现map()和reduce()两个函数,即可实现分布式计算,非常简单..
分类:
其他好文 时间:
2014-05-03 01:53:48
阅读次数:
519
本文在上一节的基础上通过一个简单的MR示例对MapReduce的运行流程进行分析。假设有两行数据,分别是helloyou,hellome,我们要统计其中出现的单词以及每个单词出现的次数。所得的结果为hello2you1me1(1)大致运行流畅1.解析成2个<k,v>,分别是<0,helloyou><10,hel..
分类:
其他好文 时间:
2014-05-03 01:51:40
阅读次数:
382
模拟namenode崩溃,将name目录的内容全部删除,然后通过secondary
namenode恢复namenode。环境:OS:Centos 6.5 x64 & Soft:Hadoop
1.2.11、进入name目录下,删除name目录内容。[huser@master name]$ pwd/h...
分类:
其他好文 时间:
2014-05-02 14:44:28
阅读次数:
517