??本文讲的分布式文件系统，是通过集群来实现的，因此也是集群文件系统。本文介绍下分布式文件系统中的常见问题及GFS中给出的解决方法。设计要点:性能提高性能的方法就是并行，讲一个任务分解成多个任务，同一时候运行。GFS中的思路是将文件分块,每一个块是一个chunk,每一个chunk单独保存，保存chu...
分类：
其他好文 时间：
2014-08-17 18:22:42
阅读次数：
293
HDFS Architecture
Introduction
HDFS是分布式文件系统，它被设计为运行在普通商用硬件之上。它与已经存在的文件系统有很多相似性。但是，也有巨大的不同。HDFS有很高的容错，被设计为部署在低廉的硬件上。HDFS提供为应用程序的数据提供一个高通量的访问，适合有大量数据的应用程序。HDFS放松了一些POSIX的需求，以使可以用流的方式访问文件系统的数据。HDFS最初作为...
分类：
其他好文 时间：
2014-08-17 17:02:32
阅读次数：
249
本文转载：http://www.cnblogs.com/olartan/archive/2009/12/02/1615131.html第1章 引言数据量巨大时，首先把多表分算到不同的DB中，然后把数据根据关键列，分布到不同的数据库中。库分布以后，系统的查询，io等操作都可以有多个机器组成的群组共同完...
分类：
数据库 时间：
2014-08-17 10:23:02
阅读次数：
319
上一节以WordCount分析了MapReduce的基本执行流程，但并没有从框架上进行分析，这一部分工作在后续慢慢补充。这一节，先剖析一下任务提交过程。MapReduce集群包含一个JobTracker和多个TaskTracker，这里先不考虑YARN，仍然依据1版本进行分析。一个MapReduce...
分类：
其他好文 时间：
2014-08-17 02:20:01
阅读次数：
320
在druid集群环境中 broker节点的作用是查询。它知道metadata 通过zookeeper发送到了集群中的哪个节点，从而能够准确的查询到。broker也把各个节点的结果汇聚到一个节点中。On start up, Realtime nodes announce themselves and ...
分类：
其他好文 时间：
2014-08-17 01:00:31
阅读次数：
257
1.我们不禁要问，什么是"服务集群"？什么是"企业级开发"？ 既然说了EJB 是为了"服务集群"和"企业级开发"，那么，总得说说什么是所谓的"服务集群"和"企业级开发"吧！这个问题其实挺关键的，因为J2EE 中并没有说明白，也没有具体的指标或者事例告诉广大程序员什么时候用EJB 什么时候不用。于是大...
分类：
其他好文 时间：
2014-08-16 23:47:51
阅读次数：
244
HDFS可靠性冗余副本策略机架策略心跳机制安全模式校验和回收站元数据保护在数据节点启动后，会把本地的文件系统遍历一次，产生一份数据块以及本地文件对应关系的清单叫做块报告，会汇报给NameNodeHadoop机架感知集群中各个节点之间会相互传递信息包心跳机制nameNode周期性从dat..
分类：
其他好文 时间：
2014-08-16 17:15:21
阅读次数：
317
??windows 环境怎样恢复 （oracle 11g grid） ocr voting 损坏的集群oracle 11g 以后 ocr 能够放到 asm 磁盘上，而ASM的启动依赖于ocr和votedisk，所以在丢失ocr或votedisk 会导致cluter无法正常启动假设原来的ocr 位置已...
分类：
数据库 时间：
2014-08-16 13:44:50
阅读次数：
247
对web系统来说，瓶颈大多在数据库和磁盘IO上面，而不是服务器的计算能力。对于系统伸缩性我们一般有2种解决方案，scale-up（纵向扩展）和scale-out（横向扩展）。前者如扩内存，增加单机性能，更换ssd等，虽然看似指标不治本而且比较昂贵，但确实是非常有效的，大多数应用的数据规模不是很大.....
分类：
数据库 时间：
2014-08-16 12:22:10
阅读次数：
380
FastDFS是一个开源的，高性能的的分布式文件系统，他主要的功能包括：文件存储，同步和访问，设计基于高可用和负载均衡，FastDFS非常适用于基于文件服务的站点，例如图片分享和视频分享网站FastDFS有两个角色：跟踪服务(tracker)和存储服务(storage)，跟踪服务控制，调度文件以负载均衡的方式访问；存储服务包括：文件存储，文件同步，提供文件访问接口，同时以key value的方式管...
