转载 http://www.superwu.cn/2014/01/10/9631.1.1. hadoop的核心思想Hadoop包括两大核心，分布式存储系统和分布式计算系统。1.1.1.1. 分布式存储为什么数据需要存储在分布式的系统中哪，难道单一的计算机存储不了吗，难道现在的几个TB的硬盘装不下这些...
分类：
其他好文 时间：
2014-11-27 12:15:25
阅读次数：
219
内容分发网络是一种新型网络内容服务体系，其基于IP网络而构建，基于内容访问与应用的效率要求、质量要求和内容秩序而提供内容的分发和服务。而从广义的角度，CDN代表了一种基于网络而构建的高质量、高效率、具有鲜明网络秩序的网络应用服务模式。简单地说，内容分发网络是一个经策略性部署的整体系统，包括分布式存储...
分类：
其他好文 时间：
2014-11-26 22:27:30
阅读次数：
345
HDFS提供分布式存储机制,提供可线性增长的海量存储能力自动数据冗余,无须使用Raid,无须另行备份为进一步分析计算提供数据基础HDFS设计基础与目标硬件错误是常态,因此需要冗余流式数据访问.即数据批量读取而非随机读写,hadoop擅长做的是数据分析而不是事务处理大规模数据集简单..
分类：
其他好文 时间：
2014-11-26 06:49:42
阅读次数：
223
Hbase简介Hbase是一个分布式的,面向列的开源数据库,该技术来源于Changetal所撰写的Google论文"Bigtable:一个结构化数据的分布式存储系统"就像Bigtable利用了Google文件系统(FileSystem)所提供的分布式数据存储一样,Hbase在Hadoop之上提供了类似于Bigtable的能力Hbase是Apache的..
分类：
其他好文 时间：
2014-11-26 06:47:41
阅读次数：
183
前言
这个系列是关于Tachyon的，主要基于《Reliable, Memory Speed Storage for Cluster Computing Frameworks 》这篇论文以及源码，最近工作比较忙，精力实在有限，可能更新得比较慢
简介
Tachyon是一个分布式文件系统，提供了一种可靠的方式，可以以访问内存的速度在不同的分布式计算框架之间共享数据。Tachy...
分类：
其他好文 时间：
2014-11-24 10:15:44
阅读次数：
173
提出了一个灵活的、可扩展的分布式存储系统，给它取名字flexStore。这个分布式存储系统可以非常好的适应数据中心中不停变化的能源，给去重的虚拟机磁盘IO存取带来很好的性能。这些研究人员研究并提出了一种智能的控制来对付数据中心供电的限制，因为有可能存储阵列的节点密度增加了，也有可能绿色能源和传统能源混合一起给数据中心供电。...
分类：
其他好文 时间：
2014-11-21 12:43:51
阅读次数：
371
3 分布式系统3.5 容错故障检测：心跳协议；当机器发生故障时，需要将上面的服务迁移到其他服务器上，为了保证强一致性，需要确保故障机器不再提供服务；主要问题：正常机器和故障机器之间需要对“故障机器是否应该被认为发生故障而停止服务”达成一致。异步网络中多态机器无法达成一致。租约：带有超时时间的一种授权...
分类：
其他好文 时间：
2014-11-19 10:44:56
阅读次数：
180
块存储系统 分布式存储有出色的性能，可以扛很多故障，能够轻松扩展，所以我们使用Ceph构建了高性能、高可靠的块存储系统，并使用它支撑公有云和托管云的云主机、云硬盘服务。 由于使用分布式块存储系统，避免了复...
分类：
其他好文 时间：
2014-11-17 17:59:43
阅读次数：
301
EMC收购的ScaleIO是分布式存储，提供块存储接口。*性能：随节点数量线性扩展，具体数值待查*功能：**架构：通用存储服务器scale-out分布式块存储系统有client和server角色区分，可共存于同一物理机。支持融合部署：存储服务器与应用服务器共存。**可靠性：副本方式（默认两副本..
分类：
其他好文 时间：
2014-11-11 12:53:00
阅读次数：
339
hadoop是有apache基金会所开发的分布式系统基础架构，其主要提供了两方面的功能：分布式存储和分布式计算。其中分布式存储是分布式计算的基础，在hadoop的实现里面，提供了分布式存储的接口，并自己实现了一个分布式存储的实现即HDFS,但并不代表hadoop只支持HDFS这一中实现，其同时支持别的存储系统，并在别的存储系统上运行分布式计算程序（mapreduce）。 从开发角度来说，h...
分类：
其他好文 时间：
2014-11-11 09:22:37
阅读次数：
239
