集群安装配置Hadoop
集群节点:node4、node5、node6、node7、node8。具体架构:
node4
Namenode,secondnamenode,jobtracker
node5
Datanode,tasktracker
node6
Datanode,tasktracker...
分类:
其他好文 时间:
2014-05-07 02:52:47
阅读次数:
361
mapreduce数据本地化(核心特征)、无共享。
1 HDFS的设计
为了存储超大文件 流式访问(一次写入多次读取)商用硬件(不需要超豪华的机器)
2 数据快(block)
磁盘一般是512字节 HDFS默认是64M 但与其他文件系统不同的是小于一个块大小的文件不会占用整个块的空间。块为什么设置这么大?(最小化寻址开销)块抽象带来的好处(一个文件的...
分类:
其他好文 时间:
2014-05-06 23:26:24
阅读次数:
519
我们把对象堆起来放成为一个集合,方法有很多,比如放进数组
堆栈
列表中。当客户想要遍历这些对象时,你打算让他看到你的实现么?当然不要!一点专业范儿都没了。
所以今天我们谈的就是如何让客户遍历对象而又无法窥视你存储对象的方式——迭代器模式
概述
提供一种方法顺序访问一个聚合对象中各个元素,而又不暴露该对象的内部表示。
适用情况:当不需要访问一个聚集对象,而且不管这些对象是什么都...
分类:
其他好文 时间:
2014-05-06 23:01:37
阅读次数:
362
2014 年,SDN 和NFV 将超越炒作阶段,进入实际部署阶段,并扩散到新的网络位置和服务。新的生态系统正在推动更多的服务聚合(mash-up),催生创业公司和新的个性化的软件平台和云环境。新SDN 和NFV 云平台必须是可编程的、健壮的、开放的、可互操作的、虚拟和物理共存的,能够可靠地将接入网与云组合起来。这是我们所有人都需要的网络产业的发展方向。...
分类:
其他好文 时间:
2014-05-06 22:43:30
阅读次数:
447
org.apache.log4j.Logger详解1.概述1.1.背景在应用程序中添加日志记录总的来说基于三个目的:监视代码中变量的变化情况,周期性的记录到文件中供其他应用进行统计分析工作;跟踪代码运行时轨迹,作为日后审计的依据;担当集成开发环境中的调试器的作用,向文件或控制台打印代码..
分类:
其他好文 时间:
2014-05-06 20:04:27
阅读次数:
431
一、高可用集群(HighAvailabilityCluster)集群(cluster)就是一组计算机,它们作为一个整体向用户提供一组网络资源。每一个单个的计算机系统都叫集群节点(node)。随着业务的增长,集群通过添加新的节点,满足资源的高可扩展性。计算机硬件和软件易错性不可避免,这样在节点..
分类:
其他好文 时间:
2014-05-06 18:34:44
阅读次数:
467
马哥课程的学习任务:RHCE+RHCA+shell编程+MySQL+Web集群+NoSQL+Hadoop+Hbase+Openstack。1基础(RHCE):RH033RH133RH2532RHCA:RH401RH423(LDAP)RH442(系统调优)RH436RHS3333MySQL4NoSQL5系统工程师:是指具备较高专业技术水平,能够分析商业需求,并使用各种系统平台和服务器..
分类:
系统相关 时间:
2014-05-06 17:15:49
阅读次数:
479
whoami:当前登录到系统的有效用户who:显示当前系统上登录的用户都有哪些-r:显示当前的运行级别的who|grep"hadoop"
echo$?w:显示谁登陆了,并且正在干什么。(显示的信息比who更详细)last:显示登录的日志,记录登录历史和重启历史-n#:只显示#次的登录信息lastb:/var/log/..
分类:
系统相关 时间:
2014-05-06 16:05:21
阅读次数:
506
Contents1、概述...2、开创磁盘备份的新模式...3、重复数据删除...4、破解磁盘瓶颈点...5、全局数据消重文件系统DDFS.6、CPU-Centric存储系统...7、数据无损体系结构...8、备份与归档一体化...9、高效的远程数据复制...1、概述长期以来备份存储领域被磁带所统治,其主要原因有..
分类:
其他好文 时间:
2014-05-06 15:43:31
阅读次数:
575