注:本文中提到的ochadoop 不要感到奇怪,是亚信公司内部自己合成的一个包,把所有的组件都放在一个包内了,免去了组件的下载过程和解决兼容问题,其实也可以自己下载的,不要受到影响。
另,转载请注明出处,谢谢
修改静态IP和hostname
在 /etc/sysconfig/network-scripts/ifcfg-eth0
配置IPADDR
地址
运行以下命...
分类:
其他好文 时间:
2015-03-15 09:27:51
阅读次数:
310
VM虚拟机配置:NAT网络配置参考:http://www.cnblogs.com/gongice/p/4337379.html安装Hadoop前的装备(在每一台主机上):配置sudo(可选):[root@hadoop01 hadoop]# chmod u+w /etc/sudoers[root@ha...
分类:
其他好文 时间:
2015-03-15 00:31:26
阅读次数:
140
1.概述 在上篇博客中,我们搭建了《配置高可用Hadoop平台》,接下来我们就可以驾着Hadoop这艘巨轮在大数据的海洋中遨游了。工欲善其事,必先利其器。是的,没错;我们开发需要有开发工具(IDE);本篇文章,我打算讲解如何搭建和使用开发环境,以及编写和讲解WordCount这个例子,给即将在Ha....
分类:
其他好文 时间:
2015-03-13 16:00:40
阅读次数:
157
Find the contiguous subarray within an array (containing at least one number) which has the largest sum.
For example, given the array [?2,1,?3,4,?1,2,1,?5,4],
the contiguous subarray [4,?1,2,1] ha...
分类:
其他好文 时间:
2015-03-13 00:28:08
阅读次数:
187
这学期选了门模式识别的课。发现最常见的一种情况就是,书上写的老师ppt上写的都看不懂,然后绕了一大圈去自己查资料理解,回头看看发现,Ah-ha,原来本质的原理那么简单,自己一開始仅仅只是被那些看似formidable的细节吓到了。所以在这里把自己所学的一些点记录下来,供备忘,也供參考。1. K-Ne...
分类:
编程语言 时间:
2015-03-12 22:14:34
阅读次数:
135
问题导读
1.HDFS HA与QJM解决了什么问题?
2.HDFS HA与QJM区别是什么?
3.在HA(两个namenode)架构下,如何访问hdfs文件?
【使用QJM构建HDFS HA架构(2.2+)】
本文主要介绍HDFS HA特性,以及如何使用QJM(Quorum Journal Manager)特性实现HDFS HA。
一、背景
...
分类:
其他好文 时间:
2015-03-12 11:32:16
阅读次数:
213
陈科肇
===========
操作系统:中标麒麟高级操作系统V6 x86-64
实现软件:中标麒麟高可用集群软件
========================
1.环境的规划与配置
硬件要求
服务器
服务器至少需要 2 台,每台服务器至少需要 2 块网卡以做心跳与连接公网使用
存储环境
建议使用一台 SAN/NAS/ISCSI 存储作为...
分类:
系统相关 时间:
2015-03-11 14:52:58
阅读次数:
283
在非HA模式下,只须如下代码就可以轻松实现上传文件,标红的这句是关键public class CopyToHDFS { public static void main(String[] args) throws IOException { Configurati...
分类:
Web程序 时间:
2015-03-11 12:43:14
阅读次数:
416
一、问题描述由于namenode 是HDFS的大脑,而这个大脑又是单点,如果大脑出现故障,则整个分布式存储系统就瘫痪了。HA(High Available)机制就是用来解决这样一个问题的。碰到这么个问题,首先本能的想到的就是冗余备份,备份的方式有很多种,前辈们设计的有元数据备份方案,secondar...
分类:
其他好文 时间:
2015-03-11 00:35:32
阅读次数:
211
Iterator接口public interface Iterator { boolean hasNext(); E next(); void remove();}访问元素前需要使用hasNext进行判断是否有元素存在,如果有再通过next操作获取,直接使用next操作而不进行ha...
分类:
编程语言 时间:
2015-03-10 22:50:40
阅读次数:
297