转载 http://www.superwu.cn/2014/01/10/9631.1.1. hadoop的核心思想Hadoop包括两大核心,分布式存储系统和分布式计算系统。1.1.1.1. 分布式存储为什么数据需要存储在分布式的系统中哪,难道单一的计算机存储不了吗,难道现在的几个TB的硬盘装不下这些...
分类:
其他好文 时间:
2014-11-27 12:15:25
阅读次数:
219
摘要 研究背景: 1. 互联网的图片数据急剧膨胀 2. Hadoop平台下的Hdfs分布式文件系统能够很好的处理海量数据 研究内容: 1. Hadoop平台工作原理 2. Hadoop平台下图片存储系统的设计与实现 3. Hadoop平台与Web的整合 创新点: ...
分类:
其他好文 时间:
2014-11-26 20:41:31
阅读次数:
286
Hbase简介Hbase是一个分布式的,面向列的开源数据库,该技术来源于Changetal所撰写的Google论文"Bigtable:一个结构化数据的分布式存储系统"就像Bigtable利用了Google文件系统(FileSystem)所提供的分布式数据存储一样,Hbase在Hadoop之上提供了类似于Bigtable的能力Hbase是Apache的..
分类:
其他好文 时间:
2014-11-26 06:47:41
阅读次数:
183
主流存储系统的数据模型是这三类:文件模型、关系模型、键值模型。 文件模型 文件模型很常见,基本每个操作系统的的文件子系统都是文件模型。Linux根目录为/,下面挂/home、/usr等目录,目录下面有子目录或文件。...
分类:
其他好文 时间:
2014-11-25 23:57:16
阅读次数:
378
Redis是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。从2010年3月15日起,Redis的开发工作由VMware主持。 redis是一个key-value存储系统。和Memcached类似,它支持存储的valu...
分类:
其他好文 时间:
2014-11-25 17:57:38
阅读次数:
148
在了解Hibernate框架之前,我们应该先要了解对象-关系映射(orm)和关系型数据库这两个概念。
对象-关系映射(ORM)主要是实现程序对象到关系数据库数据的映射。为什么这么说呢?关系数据库是企业级应用环境中永久存放数据的主流数据存储系统。对象和关系数据是业务实体的两种表现形式,业务实体在内存中表现为对象,在数据库中表现为关系数据。内存中的对象之间存在关联和继承关系,而在数据库...
分类:
Web程序 时间:
2014-11-24 22:28:34
阅读次数:
292
前言
这个系列是关于Tachyon的,主要基于《Reliable, Memory Speed Storage for Cluster Computing Frameworks 》这篇论文以及源码,最近工作比较忙,精力实在有限,可能更新得比较慢
简介
Tachyon是一个分布式文件系统,提供了一种可靠的方式,可以以访问内存的速度在不同的分布式计算框架之间共享数据。Tachy...
分类:
其他好文 时间:
2014-11-24 10:15:44
阅读次数:
173
分层组织计算机存储系统由高层到低层分别名之寄存器堆、高速缓存(cache)、主存(main memory)和外存(secondary memory)。那么为什么记忆系统要层次化呢?如果答案是效率,那么提效的原理又是什么呢?如果原理是传说中的局部性原理(principle of locality),那...
分类:
其他好文 时间:
2014-11-23 17:19:37
阅读次数:
228
计算机存储层次及CPU寄存器 不管是台式机还是笔记本的CPU,处理器的二/三缓存都是极其重要的一个数量,一方面是被厂家宣传的重点,另一方面也确实影响着电脑的速度。同时在内存不足的电脑里,增加内存对系统的性能提升往往有着立杆见影的效果。于是玩家不禁要问,为什么CPU的缓存和内存对系统的性能影响这么大....
分类:
其他好文 时间:
2014-11-23 17:14:57
阅读次数:
318
Isilon编辑本词条缺少信息栏,补充相关内容使词条更完整,还能快速升级,赶紧来编辑吧!美国Isilon公司是全球群集存储系统的主要供应商,是该领域的领导者。总部位于美国华盛顿州的西雅图。创建于2001年,于 2006 年12月15日在美国纳斯达克成功上市。其投资方为世界著名的IT投资公司Seuuo...
分类:
其他好文 时间:
2014-11-22 09:15:05
阅读次数:
253