参考:
慕课网在线分布式数据库原理与实践
淘宝沈询博客
沈询微博
淘宝技术原理系列视频
在公司学习TDDL,无意间感觉这方面挺有意思的。
很多工程上的方案并不像论文上写的那样精准,要考虑的问你有很多,最后看到的方案比较粗暴、高效、精准性略低。
性能
易用
可运维、可监控
结果简单
组件化
内网上的课程笔记:
分布式存储原理与TDDL 地址
零...
分类:
数据库 时间:
2015-08-15 12:03:32
阅读次数:
187
通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程,以及数据仓库工具Hive和分布式数据库Hbase的介绍,基本涵盖了Hadoop分布式平台的所有技术核心。
HDFS的体系架构
整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持,并通过MR来实现对分布式并行任务处理的程序支持。
HDFS采用主从(Maste...
分类:
其他好文 时间:
2015-08-12 19:36:08
阅读次数:
110
Ceph是一个完全开源的分布式存储方案、网络块设备以及文件系统,具有高稳定性、高性能、高扩展性等特点,可应对terabyte到exabyte级别的数据量。 通过使用创新性的调度算法(CRUSH)、主动存储节点、以及peer-to...
分类:
其他好文 时间:
2015-08-12 15:07:13
阅读次数:
516
对于更大量的存储使用MFS分布式存储:服务概述:MFS :网络分布式文件系统Projectwebsite:http://www.moosefs.com/InstallationandusingMooseFS:http://www.moosefs.org/reference-guide.htmlmooseFS(moose驼鹿)是一款网络分布式文件系统。它把数据分散在多台服务器上,但对..
分类:
其他好文 时间:
2015-08-10 02:12:55
阅读次数:
339
Hadoop是Lucene创始人DougCutting,根据Google的相关内容山寨出来的分布式文件系统和对海量数据进行分析计算的基础框架系统,其中包含MapReduce程序,hdfs系统等。网方网站:http://hadoop.apache.org/Hadoop是一个由Apache基金会所开发的分布式系统基础架构。下载:http://had..
分类:
其他好文 时间:
2015-08-10 02:12:39
阅读次数:
223
分布式算是软件界发展的一个里程碑,它开辟一个新的软件时代,其他的溢美之词我就不再乱说了。
分布式按照我的观点,应该分为有状态和无状态2种:
有状态
分布式数据库分布式存储
无状态
分布式计算分布式web系统
当然分布式尽量做成无状态的分布式,但是存储最终因为最终存储的是有状态的数据,所以不得不变的有状态。当然web系统也可以是有状态的,但是最好做成无状态的,因为...
分类:
其他好文 时间:
2015-08-08 10:32:22
阅读次数:
112
一 什么是HBASE Hbase 是建立在Hadoop HDFS上的一个 分布式的 面向列存储的 开源数据库。来源于google的一篇论文《bigtable;一个结构化数据的分布式存储系统》利用MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。 HBase 以...
分类:
其他好文 时间:
2015-08-07 00:12:05
阅读次数:
139
所谓大数据变革的最重要的意义不在于单纯数据量的增加,以至于要用分布式存储和分布式计算。也不在于数据源或数据种类的增加。它最重要的意义在于,人类越来越多的行为被通过电子化的方式记录下来。你的每一笔银行转账、购物、和朋友交谈、乘坐交通工具、给汽车加油、吃过的餐馆、读过的书、甚至睡眠时的心率和脑电波……都...
分类:
其他好文 时间:
2015-08-03 20:55:19
阅读次数:
113
以下为简图:省去了分布式存储服务(文件系统)、消息系统等等相关服务....
分类:
Web程序 时间:
2015-07-27 20:29:22
阅读次数:
104
简介HBase –Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBse技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase利用Hadoop HDFS作为文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协调工具。HBase(NoSQL)的数据模型
HBase 存储的网...
分类:
其他好文 时间:
2015-07-27 00:25:41
阅读次数:
122