MogileFS简介MogileFS是一套开源的分布式存储组件，由LiveJournal旗下的DangaInteractive研发，主要应用于存储海量的小文件。MogileFS有3个组件：1）TrackerNodes：是文件系统集群的核心节点，借助数据库节点保存元数据，主要功能包括监控后端Storage节点，及指示Storage节点完..
分类：
其他好文 时间：
2015-09-08 23:41:21
阅读次数：
345
因字数限制，新开文章 第九天 今天设置nginx代理，代理存储服务的http访问。 在没有代理前，我们上传了图片，需要使用group中的任一storage server进行访问，如果是多group，很麻烦。 新增一台虚拟机，部署nginx...
分类：
其他好文 时间：
2015-09-08 12:46:42
阅读次数：
153
在使用和设计分布式存储系统时，非常重要的一个环节是数据寻址，即定位一个key的数据副本存放在哪个机器(甚至哪块磁盘)；目前有几种常用的解决方案：中心节点管理元数据，分布式管理元数据，无元数据设计；本文结合自身经验谈谈三种方案的特点：1.中心节点管理元数据：在设计分布式(存储)系统时，使用中心节点.....
分类：
其他好文 时间：
2015-09-06 12:59:00
阅读次数：
247
一致性哈希算法是分布式系统中常用的算法，为什么要用这个算法？比如：一个分布式存储系统，要将数据存储到具体的节点（服务器）上， 在服务器数量不发生改变的情况下，如果采用普通的hash再对服务器总数量取模的方法（如key%服务器总数量），如果期间有服务器宕机了或者需要增加服务器，问题就出来了。 同一个k...
分类：
编程语言 时间：
2015-09-01 18:20:55
阅读次数：
194
1. 简介 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海....
分类：
系统相关 时间：
2015-09-01 12:13:54
阅读次数：
185
作者：朱金灿来源：http://blog.csdn.net/clever101 一个分布式计算系统的硬件应该如何配置？个人愚见，应该根据分布式计算的计算类型来配置。分布式并行处理系统从磁盘I/O角度可以分为弱I/O和强I/O两种。一般的互联网大数据分析为弱I/O，这样存储可以采用分布式存储，具体为一个计算节点上挂一个大硬盘，典型例子为阿里云。架构图如下： 上图展示了...
分类：
其他好文 时间：
2015-08-31 23:40:00
阅读次数：
233
PacificA是微软的在基于log的分布式存储系统中的复制技术。由于配置管理器维护着当前配置的真实情况，因此主节点不必保持不变。这是因为配置的本地视图在不同服务器上是不必同步的。特别是，我们必须避免这样的情况，一个老主节点和一个新主节点都在同一时间处理查询-老主节点可能没有意识到一个重配置信息已经...
分类：
其他好文 时间：
2015-08-31 17:19:14
阅读次数：
376
本地存储所谓本地存储就是将上传图片保存到图片服务器的本地磁盘上。if (ConfigHelper.GetConfigString("SaveMode") == "Local") // 表示存储的是本地模式 { var hostname = req...
分类：
Web程序 时间：
2015-08-29 16:38:28
阅读次数：
297
[Author]: kwu --- 基于CDH5.4的Spark1.4.1下SparkR的部署，R与Spark的结合为数据分析提供高效的解决方案，Hadoop的中hdfs为数据分析提供分布式存储。本文介绍集成安装的步骤：...
分类：
其他好文 时间：
2015-08-29 15:29:09
阅读次数：
172
1.问题引出 在Linux操作系统下，安装ceph分布式存储系统，在安装OSD时，执行了一条命令： 1 ceph-deploy disk zap osdnode1:/dev/sda3 命令执行失败，日志如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 1...
分类：
系统相关 时间：
2015-08-28 00:59:09
阅读次数：
297
