HDFS
HDFS是一个具有高度容错性的分布式文件系统，适合部署在廉价的机器上，它具有以下几个特点：
1）适合存储非常大的文件
2）适合流式数据读取，即适合“只写一次，读多次”的数据处理模式
3）适合部署在廉价的机器上
但HDFS不适合以下场景（任何东西都要分两面看，只有适合自己业务的技术才是真正的好技术）：
1）不适合存储大量的小文件，因为受Namenode内...
分类：
其他好文 时间：
2014-08-14 16:46:28
阅读次数：
260
一 介绍MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可护展的高性能数据存储解决方案。一个mongod服务可以有建立多个数据库，每个数据库可以有多张表，这里的表名叫collection，每个collection可以存放多个文档（document），每个文档都以...
分类：
数据库 时间：
2014-08-14 15:51:28
阅读次数：
268
遇到的问题对于Web程序，使用一台服务器的时候，客户端上传的文件一般也都是存储在这台服务器上。但在集群环境中就行不通了，如果每个服务器都存储自己接受到的文件，就乱套了，数据库中明明有这个附件的记录，却找不到这个文件。于是，文件需要进行统一集中管理，并向集群中的服务器提供统一的路径。基于NFS的分布式...
分类：
Web程序 时间：
2014-08-14 10:28:48
阅读次数：
461
【课程内容】1、Hadoop分布式文件系统（HDFS）2、YARN/MapReduce的工作原理3、如何优化Hadoop机群所需要的硬件配置4、搭建Hadoop机群所需要考虑的网络因素5、Hadoop机群维护和控制6、如何利用Hadoop配置选项进行系统性能调优7、如何利用FairScheduler...
分类：
其他好文 时间：
2014-08-13 14:51:36
阅读次数：
288
Hadoop+Lucene+NutchHadoop中实现了 Google的GFS和MapReduce算法，使Hadoop成为了一个分布式的计算平台。Hadoop不仅是一个用于存储的分布式文件系统，而且是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。Lucene是一个Java高性能全文...
分类：
其他好文 时间：
2014-08-10 23:51:50
阅读次数：
316
自2010年11月首次举办以来，大会云集了国内水平最高的IT架构师、技术总监、项目经理、运维总监/经理、DBA经理、研发工程师等IT技术大牛，由最初的百人规模扩展到现今超千人的技术饕餮盛宴。大会一直受到业界广泛关注与赞誉，是目前华东与华南地区最受欢迎、人气最高的架构师技术交流盛会。本次大会将继续秉承分享IT最佳应用实践的宗旨，以“发现架构之美，实战为王”为主题，邀请国内知名互联网企业的资深架构师和工程师，探讨实下最热门的行业趋势与技术热点，分享架构在企业中的最佳实践。大会关键词：分布式文件系统、大数据、GO...
分类：
其他好文 时间：
2014-08-09 16:02:48
阅读次数：
474
分布式文件系统HDFS--DataNode体系结构 1.概述 DataNode作用:提供真实文件数据的存储服务。 文件块（block）：最基本的存储单位[沿用的Linux操作系统地概念]。对于文件内容而言，一个文件的长度大小是size，那么从文件的０偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个Block。 与Linux操作系统不同的是,一旦上传了一个小于Block大小...
分类：
其他好文 时间：
2014-08-08 21:20:36
阅读次数：
364
分布式文件系统HDFS 分布式文件系统[Distributed File System]概述数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。分布式文件系统特点:是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。通透性。让实际...
分类：
其他好文 时间：
2014-08-08 18:11:06
阅读次数：
245
分布式文件系统HDFS--NameNode体系结构NameNode是整个文件系统的管理节点。它维护着整个文件系统的文件目录树[为了使得检索速度更快,该目录树放在内存中]， 文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。Hadoop确保了NameNode的健壮性,不容易死亡.文件目录树以及文件/目录的元信息等归根到底是存放在硬盘中的,但是在Hadoop运行时,需要将其加载到内存中...
分类：
其他好文 时间：
2014-08-08 18:10:26
阅读次数：
198
