环境:Centos6.0-x86_64集群使用三台服务器组成Glusterfs集群,其中两台服务器提供NFS和Rsync服务用于备份每台服务器2块网卡eth0对应内网、eth1对应外网,Glusterfs简介:GlusterFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能..
分类:
其他好文 时间:
2015-01-03 13:27:20
阅读次数:
701
前几章将有特点的公有云计算平台都介绍了一下,这里费下嘴,不是说只有这些云平台,实际上有很大,到现在Bat、360等都得云计算平台有涉及,方向、功能大体相似,我们常用的网盘算是其中之一。通过前面云计算的介绍,云计算相关的虚拟化、并行计算、主机管理等技术,我们也积累很多东西,现在就开始应用到实践中。...
分类:
其他好文 时间:
2014-12-31 22:53:16
阅读次数:
290
HDFS作为一个分布式文件系统,是所有这些项目的基础。分析好HDFS,有利于了解其他系统。由于Hadoop的HDFS和MapReduce是同一个项目,我们就把他们放在一块,进行分析。 如果把整个hadoop当做一个java中的类的话,那么HDFS就是这个类的静态变量,其他的项目是hadoop中的方法...
分类:
其他好文 时间:
2014-12-31 22:46:33
阅读次数:
301
[root@master~]#echo“/usr/local/mfs/sbin/mfsmaster”>>/etc/rc.local
mfsmaster是要启动的应用
追加到/etc/rc.local文件中,rc.local里面的进程随操作系统的启动而启动...
分类:
其他好文 时间:
2014-12-29 12:16:11
阅读次数:
125
摘要:Hadoop使用了MapReduce编程范式,目前已经被公认为是分布式环境中分析大数据的标准框架。然而,它并不能很好的应用于大规模的计算几何处理。本文介绍的CG_Hadoop是一套可伸缩的和高效的MapReduce算法,用于处理各种基本计算几何问题,例如多边形合并、skyline(轮廓线)、convex hull(凸包)、farthest pair(最远相对)以及最近相对等,这些都是其它几何算法的基础。对于每一个计算几何操作,CG_Hadoop有两个版本,一个基于Apache Hadoop系统,一个基...
分类:
其他好文 时间:
2014-12-26 20:24:40
阅读次数:
227
(1)分布式文件系统随着数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统 。它是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间。...
分类:
系统相关 时间:
2014-12-23 21:03:15
阅读次数:
289
HDFS简介
Hadoop说白了就是一个提供了处理分析大数据的文件集群,其中最重要的无疑是HDFS(Hadoop Distributed File System)即Hadoop分布式文件系统。
1、
HDFS是一种以流式数据访问模式(一次写入多次读取的模式)存储超大文件的系统。其不需要的高端的硬件系统,普通市面上的硬件就能满足要求。
目前不适合应用...
分类:
其他好文 时间:
2014-12-23 17:25:18
阅读次数:
184
分布式文件系统即是网络中多台计算机组合在一起提供一个统一存储及管理的系统。 Hadoop提供了一个文件系统接口和多个分布式文件系统实现,其中比较重要的就是HDFS(Hadoop Distributed Filesystem)了。Hadoop是一个综合性的文件系统抽象,因此它也可以集成其他文件系统的实...
分类:
其他好文 时间:
2014-12-22 10:41:42
阅读次数:
278
本文内容 应用服务和数据服务分离 使用缓存改善网站性能 使用应用服务器集群改善网站的并发处理能力 数据库读写分离 使用反向代理和 CDN 加速网站响应 使用分布式文件系统和分布式数据库系统 使用 NoSQL 和搜索引擎 业务拆分 ...
分类:
Web程序 时间:
2014-12-21 17:52:39
阅读次数:
650
柯南君的公司最近产品即将上线,由于产品业务对图片的需求与日俱增,花样百出,与此同时,在大数据时代,大流量的冲击下,对图片服务器的压力可想而知,那么今天,柯南君结合互联网的相关热文,加上自己的一点实践经验,与君探讨,与君共勉!
一、图片服务器的重要性
当前,不管哪一家网站(包括 电商行业、O2O行业、互联网行业等),不管哪一种渠道 (包括 web端,APP端甚至一些SNS应用),在大数据时代下,...
分类:
其他好文 时间:
2014-12-20 18:19:57
阅读次数:
136