HDFS和MapReduce是Hadoop的两大核心。整个Hadoop体系结构主要是通过HDFS来实现分布式存储的底层支持的，并且通过MapReduce来实现分布式并行任务处理的程序支持。...
分类：
其他好文 时间：
2014-07-30 20:57:44
阅读次数：
238
Sheepdog，是由NTT的3名日本研究员开发的开源项目，主要用来为虚拟机提供块设备。其架构例如以下：以下，我们将从架构、模块等几个方面来介绍下：一、架构图如上图：採用无中心节点的全对称架构，无单点故障，存储容量和性能可线性扩展；新增节点通过简单配置可自己主动添?（IP:PORT），数据自己主动实...
分类：
其他好文 时间：
2014-07-27 23:11:39
阅读次数：
215
006年的OSDI有两篇google的论文，分别是BigTable和Chubby。Chubby是一个分布式锁服务，基于Paxos算法；BigTable是一个用于管理结构化数据的分布式存储系统，构建在GFS、Chubby、SSTable等google技术之上。相当多的google应用使用了BigTab...
分类：
其他好文 时间：
2014-07-26 09:54:57
阅读次数：
376
一、高可用的Session服务器场景简介1.1 应用服务器的无状态特性 应用层服务器（这里一般指Web服务器）处理网站应用的业务逻辑，应用的一个最显著的特点是：应用的无状态性。PS：提到无状态特性，不得不说下Http协议。我们常常听到说，Http是一个无状态协议，同一个会话的连续两个请求互相不了解....
分类：
其他好文 时间：
2014-07-25 16:45:01
阅读次数：
401
提供大规模、标准化、统一且易于使用的云渲染服务对于整个渲染行业来说都是一个难题。赞奇科技凭借定制化的服务器、分布式存储和灵活的业务模式，在云渲染服务市场上找到了自己的定位。赞奇科技发展有限公司(以下简称赞奇科技)是国内一家专业从事三维图形云渲染服务的公司，目..
分类：
其他好文 时间：
2014-07-25 11:33:42
阅读次数：
445
##分布式存储中的应用 --- 在分布式存储系统中，将数据分布至多个节点的方式之一是使用哈希算法。假设初始节点数为 N，则传统的对 N 取模的映射方式存在一个问题在于：当节点增删，即 N 值变化时，整个**哈希表*...
分类：
其他好文 时间：
2014-07-22 08:22:37
阅读次数：
155
《大规模分布式存储系统：原理解析与架构实战》读书笔记:之前研究了Bitcask存储模型，今天来看看LSM存储模型，两者虽然同属于基于键值的日志型存储模型。但是Bitcask使用哈希表建立索引，而LSM使用跳跃表建立索引。这一差别导致了两个存储系统的构造出现明显的分化。为此，我还先去捣腾了一番跳跃表的实现.今天算是进入了正题。...
分类：
其他好文 时间：
2014-07-21 13:37:46
阅读次数：
296
一、Hadoop构造模块
运行Hadoop的意思其实就是运行一组守护进程（daemons），每个进程都有各自的角色，有的仅运行在单个服务器上，有的则运行在集群多个服务器上，它们包括：
NameNodeSecondary NameNodeDataNodeJobTrackerTaskTracker
Hadoop是一个分布式存储与计算系统，分布式存储部分是HDFS，分布...
分类：
其他好文 时间：
2014-07-19 02:31:56
阅读次数：
188
??
本文介绍下分布式系统设计中的一些关键问题及解决思路:
数据的分布方式
副本的保存方式
副本的控制
节点状态监控
1）数据的分布方式
hash分布
用于key-value模型的存储系统中，数据库中的分表也可以使用这种方式。
利用hash函数将对象散列到不同的机器。
优点：
散列型号，分布均匀，实现简单。
缺点
可扩展性（scalability）不强，增加新的机...
分类：
其他好文 时间：
2014-07-19 02:31:15
阅读次数：
246
《大规模分布式存储系统：原理解析与架构实战》读书笔记 :在了解了Bitcask存储模型后,又开始研究LSM树存储引擎。LSM在实现的过程中使用了一个很有意思的数据结构：跳跃表。之前在《算法导论公开课》中听过这一节。当时感觉这种结构和二叉树简直是殊途同归，但是一直没有亲自动手实现过。这次又遇到了，就来实现试试看。话说跳跃表和各种平衡树一样，都是用来加速查询的。要随手实现一个B树不容易，但是实现一个跳跃表就简单很多。...
分类：
其他好文 时间：
2014-07-18 23:08:17
阅读次数：
411
