码迷,mamicode.com
首页 >  
搜索关键字:分布式文件系    ( 1397个结果
好记性不如烂笔头18-java对Oracle的CLOB字段的操作
分布式文件系统的发展很快,在Oracle中,LOB(Large Object,大型对象)类型的字段现在虽然用的没有以前那么多了。但是在一些特殊的场合,需要用它保存一些数据量非常大的业务领域(如图象、档案等),还是有不少的市场。   LOB类型分为BLOB和CLOB两种:BLOB即二进制大型对象(BinaryLarge Object),适用于存贮非文本的字节流数据(如程序、图象、影音等)。而CLO...
分类:数据库   时间:2015-02-03 19:38:29    阅读次数:206
(转)java:快速文件分割及合并
文件分割与合并是一个常见需求,比如:上传大文件时,可以先分割成小块,传到服务器后,再进行合并。很多高大上的分布式文件系统(比如:google的GFS、taobao的TFS)里,也是按block为单位,对文件进行分割或合并。看下基本思路:如果有一个大文件,指定分割大小后(比如:按1M切割)step 1...
分类:编程语言   时间:2015-02-02 15:45:16    阅读次数:265
分布式文件系统之MogileFS的使用
一.mogilefs简介MogileFS是一个开源的分布式文件系统,用于组建分布式文件集群,由LiveJournal旗下DangaInteractive公司开发,Danga团队开发了包括Memcached、MogileFS、Perlbal等不错的开源项目:(注:Perlbal是一个强大的Perl写的反向代理服务器)。MogileFS由3个部分组成:第..
分类:其他好文   时间:2015-02-01 12:16:45    阅读次数:540
再读《Large_Scale Distribusion Starage System》——基础篇
分布式存储系统按照所存储的数据对象不同,分为四类:分布式文件系统(存储图片、音频、视频等非结构化的Blob对象、定长块以及大文件等)、分布式表格系统(存储关系较为复杂的半结构化数据)、分布式键值系统(存储关系简单的半结构化数据)和分布式数据库(存储结构化数据)等。...
分类:其他好文   时间:2015-01-31 00:31:16    阅读次数:176
Hadoop学习笔记之二 文件操作
HDFS分布式文件系统:优点:支持超大文件存储、流式访问、一次写入多次读取。缺点:不适应大量小文件、不适应低时延的数据访问、不适应多用户访问任意修改文件。1.hadoop用于大数据处理,在数据量较小时,并不适用于实时性强的任务,并不是所有的job放到hadoop上,性能都会提升。2.大量小文件的情况...
分类:其他好文   时间:2015-01-30 21:00:06    阅读次数:358
分布式文件系统架构GFS、HDFS、TFS、Haystack
分布式文件系统架构GFS、HDFS、TFS、Haystack 分布式文件系统很多,包括GFS,HDFS,淘宝开源的TFS,Tencent用于相册存储的TFS (Tencent FS,为了便于区别,后续称为QFS),以及Facebook Haystack。 分布式文件系统通常可以作为底层存储,如GFS作为Google bigtable的底层,EBS作为 Amazon ...
分类:Web程序   时间:2015-01-28 21:28:07    阅读次数:577
01FastDFS的安装部署
1.FastDFS简介(1)FastDFS的功能介绍 FastDFS是一个开源的分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。(2)FastDFS的工作原理...
分类:其他好文   时间:2015-01-28 21:05:41    阅读次数:289
spark中使用的内存文件系统-Tachyon FS 简介
转自:http://blog.csdn.net/u014252240/article/details/41810849发布人:南京大学PASA大数据实验室顾荣1. Tachyon是什么Tachyon(/'tæki:??n/ 意为超光速粒子)是以内存为中心的分布式文件系统,拥有高性能和容错能力,能够为...
分类:其他好文   时间:2015-01-27 10:53:42    阅读次数:3558
FastDFS tracker storage 的工作原理及流程
FastDFS tracker storage 的工作原理及流程2013 年 3 月 11 日 – 09:22 | 1,409 views |收藏(No Ratings Yet)FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下...
分类:其他好文   时间:2015-01-21 19:44:45    阅读次数:215
FastDFS 安装及使用
FastDFS 安装及使用2012-11-17 13:10:31|分类:Linux|举报|字号订阅Google了一下,流行的开源分布式文件系统有很多,介绍如下:mogileFS:Key-Value型元文件系统,不支持FUSE,应用程序访问它时需要API,主要用在web领域处理海量小图片,效率相比mo...
分类:其他好文   时间:2015-01-21 17:53:07    阅读次数:222
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!