1、故事的起源
还是很多很多年前,做过一个小系统,是一个和支付相关的小系统。因为是一个小系统,所以一切都那么简单。一台应用服务器,一台数据库服务器;文件、图片都放在应用服务器上,一切都是那么的平淡,一切都是那么的理所当然。
突然有一天,支付成为一个时髦的话题;突然有一天,这个平台居然要孕育成为一个新的支付公司的核心系统;于是,系统的访问就要暴涨了。这一切都很突然……
2、调整后的系统简易架构...
分类:
其他好文 时间:
2015-01-13 09:00:24
阅读次数:
136
接着上篇博文,上篇博文是讲如何部署MooseFS的,部署完毕之后就要涉及到后续的使用了。在使用过程中,肯定会遇到一些故障和性能瓶颈。此时,我们就需要去操心MooseFS的管理、维护和优化工作了。本篇就围绕上面提到的三个方面,介绍MooseFS更深入的一些知识。一、高级功能1、副..
分类:
其他好文 时间:
2015-01-13 01:35:46
阅读次数:
298
HDFS是hadoop项目的核心子项目,是Hadoop主要的一个分布式文件系统。实际上,hadoop中有一个文件系统抽象,它提供了文件系统实现的各类接口,HDFS只是这个抽象文件系统的一个实例。文件系统 URI JAVA实现定义Localfilefs.LocalFileSystem本地文...
分类:
其他好文 时间:
2015-01-13 01:17:53
阅读次数:
180
HDFS作为Hadoop的核心技术之一,HDFS(Hadoop Distributed File System, Hadoop分布式文件系统)是分布式计算中数据存储管理的基础。具有高容错高可靠性、高可扩展性、高可获得性、高吞吐率等特性。为超大数据集的应用提供了便利。一、设计的前提和目的HDFS是Go...
分类:
其他好文 时间:
2015-01-12 22:29:31
阅读次数:
264
系统架构演化历程-初始阶段架构
初始阶段 的小型系统 应用程序、数据库、文件等所有的资源都在一台服务器上通俗称为LAMP
特征:
应用程序、数据库、文件等所有的资源都在一台服务器上。
描述:
通常服务器操作系统使用linux,应用程序使用PHP开发,然后部署在Apache上,数据库使用Mysql,汇集各种免费开源软件以及一台廉价服务器就可以开始系统的发展之路了...
分类:
其他好文 时间:
2015-01-12 16:30:19
阅读次数:
155
前一段公司因为nfs存储的问题,做了一段时间的调研。最终虽然有nfs高可用方案(nfs+drbd+heartbeat),但是在nfs故障切换的时候会出现2分钟左右的延时。这样子。。。就开始了对分布式文件系统的调研选型。也就是这样,有了本系列的博文。针对MooseFS预计会有3篇博文,分为介绍、..
分类:
其他好文 时间:
2015-01-09 01:43:38
阅读次数:
242
引言 前提和设计目标 硬件错误 流式数据访问 大规模数据集 简单的一致性模型 “移动计算比移动数据更划算” 异构软硬件平台间的可移植性 Namenode 和 Datanode 文件系统的名字空间 (namespace) 数据复制 副本存放: 最最开始的一步 副本选择 安全模式 文件系统元数据的持久化...
分类:
其他好文 时间:
2015-01-08 11:12:54
阅读次数:
166
大量原创博文可见如下链接,话说原文作者刘爱贵会持续更新:http://blog.csdn.net/liuaigui/article/details/17331557下面提供一个当前版本的链接:[1]GlusterFS集群文件系统研究[2]基于开源软件构建高性能集群NAS系统[3]关于Gluster稳定性的一个BUG[4]创建Glusterfs分布式RAID..
分类:
其他好文 时间:
2015-01-07 18:59:17
阅读次数:
199
Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构 化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句...
分类:
数据库 时间:
2015-01-07 13:22:27
阅读次数:
323