《大规模分布式存储系统：原理解析与架构实战》读书笔记 :在了解了Bitcask存储模型后,又开始研究LSM树存储引擎。LSM在实现的过程中使用了一个很有意思的数据结构：跳跃表。之前在《算法导论公开课》中听过这一节。当时感觉这种结构和二叉树简直是殊途同归，但是一直没有亲自动手实现过。这次又遇到了，就来实现试试看。话说跳跃表和各种平衡树一样，都是用来加速查询的。要随手实现一个B树不容易，但是实现一个跳跃表就简单很多。...
分类：
其他好文 时间：
2014-07-18 23:08:17
阅读次数：
411
LVM利用Linux内核来实现存储系统的虚拟化（系统分区独立于底层硬件）。通过LVM，你可以实现存储空间的抽象化并在上面建立虚拟分区，可以更简便地扩大和缩小分区，可以增删分区时无需担心某个硬盘上没有足够的连续空间.LVM的基本组成块:物理卷(PV)：可以在上面建立卷组的媒介，..
分类：
其他好文 时间：
2014-07-18 13:10:17
阅读次数：
242
对文件的操作，都将涉及到对磁盘的访问。磁盘I/O速度的高低和磁盘系统的可靠性，都将直接影响到系统性能。
1.数据的组织和格式：
盘片----盘面----磁道----扇区。
低级格式化----磁盘分区----高级格式化
注意：每个分区就是一个独立的逻辑磁盘。
2.磁盘的类型：
1）固定头磁盘：在每条磁道上都有一读/写磁头，所有的磁头都被装在一刚性磁臂中。通过这些磁头可访问所有各磁...
分类：
其他好文 时间：
2014-07-18 11:31:51
阅读次数：
164
一个大型的网站网站应该由如下6个子系统组成负载均衡系统反向代理系统Web服务器系统分布式存储系统底层服务系统数据库集群系统为什么要做高并发系统设计？事实上，针对于任何单一的网络服务器程序，其可承受的同时连接数目是有理论峰值的，通过C＋＋中对TSocket的定义类型：word，我们可以判 定这个连接理...
分类：
Web程序 时间：
2014-07-16 19:04:48
阅读次数：
240
oracle linux 和外部存储系统 的关系...
分类：
数据库 时间：
2014-07-16 09:24:42
阅读次数：
288
这篇文章主要介绍SDF的研发过程，包括问题的提出，解决方案，以及部署在实际系统过程中遇到的问题，该论文发表在ASPLOS 2014会议上。首先问题来自于实际工业环境：随着数据中心将成为承载互联网用户存储和计算的主要战场，如何设计和改进体系结构以满足大规模系统对性能，成本，功耗以及可扩展性的要求。可以看到的是百度的ARM云服务器方案解决了存储的成本和功耗问题，而SDF架构则幅度提升了性能的性能（当然也会降低成本和功耗）。...
分类：
其他好文 时间：
2014-07-15 10:37:54
阅读次数：
208
----《大规模分布式存储系统：原理解析与架构实战》读书笔记
最近一直在分析OceanBase的源码，恰巧碰到了OceanBase的核心开发者的新作《大规模分布式存储系统：原理解析与架构实战》.看完样章后决定入手，果然物有所值。对于准备学习分布式的同学，这是一本不错的书籍，相对系统，全面的介绍了分布式的相关技术和项目，基本都是干货。还有一半是在介绍OceanBase的内容，对我来说，正是...
分类：
其他好文 时间：
2014-07-14 13:59:05
阅读次数：
228
对于hadoop HDFS 中的所有命令进行解析（其中操作流程是自己的想法有不同意见欢迎大家指正）
接口名称
功能
操作流程
get
将文件复制到本地文件系统 。如果指定了多个源文件，本地目的端必须是一个目录。
（1）按照上述机制，在Config server上的存储引擎中逐层读取K-V，直到获得文件名（或大文件元数据...
分类：
其他好文 时间：
2014-07-12 22:25:59
阅读次数：
389
第一：Redis 是什么？Redis是基于内存、可持久化的日志型、Key-Value数据库高性能存储系统，并提供多种语言的API.第二：出现背景数据结构(Data Structure)需求越来越多, 但memcache中没有, 影响开发效率性能需求, 随着读操作的量的上升需要解决，经历的过程有:数据...
分类：
其他好文 时间：
2014-07-12 13:46:56
阅读次数：
223
Facebook最近公布了Apollo，它是Facebook的一种类似于Paxos的NoSQL数据库。Apollo构建于ApacheThrift2RPC框架，采用C++11开发，是一种分层存储系统，所有数据被划分到Shard，非常类似于HBase中的区域服务器。它最大的好处是在线低延迟存储，特别是在Flash和内存中。区别于面向..
分类：
数据库 时间：
2014-07-05 23:05:16
阅读次数：
377
