转自here我一向坚持的原则,那就是任何东西的根本性的,本质上的原理以及背后的思想都是及其简单的,所谓的复杂性都是优化与策略化的扩展带来的,正如TCP一样,UNIX的文件系统也不例外!我们必须知道,什么是最根本的,什么是次要的。对于UNIX文件系统,最根本的就是其布局以及其系统调用接口,一个处在最低...
分类:
其他好文 时间:
2014-09-28 17:01:33
阅读次数:
141
1、集群部署介绍1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用....
分类:
其他好文 时间:
2014-09-28 14:04:02
阅读次数:
309
通过之前的努力,已经搭建好了一套基本的tfs环境,包括一台nameserver和一台dataserver以及独立的nginx-tfs,而在实际应用中的分布式文件系统,只有一台dataserver明显是不行的,因而本文将介绍tfs环境下添加dataserver的操作和配置过程。环境介绍:Tfsnameserver服务器IP:192...
分类:
其他好文 时间:
2014-09-28 13:24:43
阅读次数:
307
版本库数据存储在Subversion1.2中,版本库中存储数据有两种方式。一种是在Berkeley DB数据库中存储数据;另一种是使用普通的文件,使用自定义格式。因为Subversion的开发者称版本库为(版本化的)文件系统,他们接受了称后一种存储方式为FSFS[14]的习惯,也就是说,使用本地操作...
分类:
数据库 时间:
2014-09-28 12:21:41
阅读次数:
317
前言一、最开始的网站架构二、应用、数据、文件分离三、利用缓存改善网站性能四、使用集群改善应用服务器性能五、数据库读写分离和分库分表六、使用CDN和反向代理提高网站性能七、使用分布式文件系统八、使用NoSql和搜索引擎九、将应用服务器进行业务拆分十、搭建分布式服务小结前言一个成熟的大型网站(如淘宝、天...
分类:
Web程序 时间:
2014-09-27 23:44:20
阅读次数:
350
HDFS特点概述
Hadoop整合抽象了众多的文件系统类,HDFS只是其中一种的具体实现。它是基于流数据模式和处理超大文件的需求开发的,主要特点如下:
处理超大文件
这里的超大文件通常是指MB到TB级别的数据文件,在实际应用中已经可达到PB级。
流式地访问数据
HDFS提供一次写入,多次读取的服务。...
分类:
其他好文 时间:
2014-09-27 20:51:00
阅读次数:
665
/:根目录。/bin:存放必要的命令/boot:存放内核以及启动所需的文件/dev:存放设备文件/etc存放系统配置文件/home:普通用户的宿主目录,用户数据存放在其主目录中/lib:存放必要的运行库/mnt:存放临时的映射文件系统,通常用来挂在使用/proc:存放存储进程和系统信息/root:超级用户的..
分类:
系统相关 时间:
2014-09-27 02:52:09
阅读次数:
202
java从jdk1.4后就引入了java NIO机制: NIO的显著特点就是通道(channel)、缓冲(buffer)、选择器(selector),NIO机制中添加了传统I/O机制中没有的非阻塞调用(这对于网络通信很有用,可以有效利用CPU),但是这个只能对于网络通道(Socketchannel)...
分类:
编程语言 时间:
2014-09-26 20:05:18
阅读次数:
346
一些关于 NTFS 文件系统的基础知识,为你修复还原文件,弄清 NT 下文件系统驱动的原理,有着非常大的作用。...
分类:
其他好文 时间:
2014-09-26 19:27:08
阅读次数:
153