HDFS 分布式文件系统
Namenode
Secondarynode
Datanode
MapReduce 分布式计算框架
JobTracker
TaskTracker
Map Task
Reducer Task
Yarn 集群资源管理系统
Resourcemanager
Nodemanager
ApplicationMaste...
分类：
其他好文 时间：
2018-03-06 17:06:54
阅读次数：
175
FastDFS文件系统管理的物理存储资源不一定在本地，而是通过计算机网络与节点相连C/S模式对等性允许一些系统扮演客户机和服务器的双重角色特点分布式文件系统可有效解决数据存储和管理难题将固定于某个地点的某个文件系统扩展到任意多个地点或文件系统众多节点组成一个文件系统网络每个节点可以分布在不同地点通过网络通信和数据传输人们在时用分布式文件系统时无需关心数据存取在哪个节点上只需像本地文件系统一样管理即
分类：
其他好文 时间：
2018-03-06 12:01:33
阅读次数：
214
[mfs工作原理]分布式原理分布式文件系统就是把一些分散在多台计算机上的共享文件夹，集合到一个共享文件夹内，用户要访问这些文件夹的时候，只要打开一个文件夹，就可以的看到所有链接到此文件夹内的共享文件夹。.MFS原理MFS是一个具有容错性的网络分布式文件系统，它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。1）MFS的组成元数据服务器（Master）：在整个体系中负责管理文件系
分类：
其他好文 时间：
2018-03-04 21:17:24
阅读次数：
187
欢迎关注大数据和人工智能技术文章发布的微信公众号：清研学堂，在这里你可以学到夜白（作者笔名）精心整理的笔记，让我们每天进步一点点，让优秀成为一种习惯！ 一、HBase基本概念：列式数据库 在Hadoop生态体系结构中，HBase位于HDFS（Hadoop分布式文件系统）的上一层，不依赖于MapRed ...
分类：
数据库 时间：
2018-03-04 19:07:19
阅读次数：
257
概述分布式文件系统：Distributedfilesystem,DFS，又叫做网络文件系统：NetworkFileSystem。一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。FastDFS是用c语言编写的一款开源的分布式文件系统，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，功能包括：文件存储、文件同步、文件访问（文件上传、文件
分类：
编程语言 时间：
2018-02-28 11:57:51
阅读次数：
234
hadoop 创始人 DogCutting 高效，可扩展性，高容错性，价格低廉的大数据软件处理架构 主要应用于数据分析、数据实时查询、数据挖掘领域 HDFS（HadoopDistributeFileSystem 分布式文件系统） 总结：从字面意思我们可以简单理解为：hadoop是用来处理大数据的，H ...
分类：
其他好文 时间：
2018-02-27 01:07:26
阅读次数：
137
由于分布式系统所涉及到的领域众多，知识庞杂，很多新人在最初往往找不到头绪，不知道从何处下手来一步步学习分布式架构。 本文试图通过一个最简单的、常用的分布式系统，来阐述分布式系统中的一些基本问题。 负载均衡 分布式缓存 分布式文件系统/CDN 分布式RPC 分布式数据库/Nosql 分布式消息中间件 ...
分类：
其他好文 时间：
2018-02-24 19:35:12
阅读次数：
199
MogileFS的实现 解决MogileFS的bug问题 ...
分类：
其他好文 时间：
2018-02-22 19:28:39
阅读次数：
197
大数据平台是为了计算，现今社会所产生的越来越大的数据量，以存储、运算、展现作为目的的平台。大数据技术是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。 —— ...
分类：
其他好文 时间：
2018-02-21 21:05:49
阅读次数：
178
一、配置tracker 目标： FastDFS是一个分布式文件系统，主要的服务器角色有Tracker和Storage。本例安装一台Tracker，实现以下功能： 接受客户端的访问 检索存储节点，为客户端提供一台可用的storage 方案： 准备一台虚拟机，安装FastDFS Tracker。 主机的 ...
分类：
Web程序 时间：
2018-02-13 14:32:21
阅读次数：
674
