HDFS概述及设计目标 如果让我们自己设计一个分布式文件存储系统，怎么做？ HDFS设计目标 非常巨大的分布式文件系统 运行在普通廉价的硬件上 易扩展，为用户提供性能不错的文件存储系统 HDFS架构 如果让我们自己设计一个分布式文件存储系统，怎么做？ HDFS设计目标 非常巨大的分布式文件系统 运行 ...
分类：
其他好文 时间：
2018-10-13 22:49:15
阅读次数：
205
存储的分类：块存储：硬盘LVMDAS(DirectAttachStorage)是直接连接于主机服务器的一种存储方式，每一台主机服务器有独立的存储设备，每台主机服务器的存储设备无法互通。通常用单一网络环境下且数据交换量不大，性能要求不高的环境下，可以说是一种应用较早的技术实现SAN1、FC-SAN2、IP-SAN分布式存储-CephCeph是开源实现的PB级别的分布式文件系统，其分布式对象存储机制为
分类：
其他好文 时间：
2018-10-12 11:12:19
阅读次数：
148
Flink中支持的BLOB文件类型 jar包 被user classloader使用的jar包 高负荷RPC消息 1. RPC消息长度超出了akka.framesize的大小 2. 在HA摸式中，利用底层分布式文件系统分发单个高负荷RPC消息，比如: TaskDeploymentDescriptor ...
分类：
其他好文 时间：
2018-10-09 19:04:20
阅读次数：
1091
1. FastDFS FastDFS是一个开源的轻量级分布式文件系统,由跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)三个部分组成,主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < file_size <500MB) ...
分类：
其他好文 时间：
2018-10-02 17:51:01
阅读次数：
140
目录*分布式原理*MFS原理*案例实施*总结归纳分布式原理分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。简单来说，就是把分散的共享文件夹，集合到一个虚拟文件夹内，客户只要打开这个虚拟文件夹，就可以访问到所有连接到虚拟文件夹内的共享文件。MFS原理MFS是一个具有容错性的网络分布式文件系统，它把数据分散存放在多个物理服务器上，而呈现给用户的则是
分类：
其他好文 时间：
2018-10-02 14:19:41
阅读次数：
211
案列概述公司的社交网站采用PHP语言开发，为了管理PHP程序员开发的代码，上级领导要求搭建SVN服务器进行版本控制。社交网站的第一个版本部署在LNMP平台上，前端为Nginx，通过fastcgi协议访问后端的PHP服务器。为了保证数据安全，要求搭建MySQL数据库主从集群。社交网站包含用户的相册功能，允许用户上传照片，上传照片需要使用共享存储来存放。公司决定使用MFS分布式文件系统，并将MFS挂载
分类：
数据库 时间：
2018-10-01 19:09:21
阅读次数：
269
FastDFS是淘宝的余庆主导开发的一个分布式文件系统，采用C语言开发，性能较优。在淘宝网、京东商城、支付宝和某些网盘等系统均有使用，使用场景十分广泛。 下图来源：https://blog.csdn.net/kyriehe/article/details/52431495 目前这个系统的源码已在gi ...
分类：
其他好文 时间：
2018-10-01 17:07:46
阅读次数：
179
++++++++++++++构建MFS分布式文件系统++++++++++++++PB级别：企业存储空间达到PB级别，即100万GB空间。（1PB=1000TB，1TB=1000GB，1GB=1000MB）MFS原理：MFS是一个具有容错额网络分布式文件系统，他把数据分散存放在多个物理服务器上，而呈现 ...
分类：
其他好文 时间：
2018-10-01 00:10:09
阅读次数：
168
初步了解分布式原理：分布式文件系统（DistributedFileSystemm）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。简单来说，就是把一些分散的（分布在局域网内各个计算机上）共享文件夹，集合到一个文件夹内（虚拟共享文件夹）。对于用户来说，要访问这些共享文件夹时，只要打开这个虚拟共享文件夹，就可以看到所有链接到虚拟共享文件夹内的共享文件夹，用户感觉
分类：
其他好文 时间：
2018-09-30 12:50:29
阅读次数：
188
hadoop是一个分布式计算+分布式文件系统，前者其实就是MapReduce，后者是HDFS。后者可以独立运行，前者可以选择性使用，也可以不使用。 hive是一个构建在Hadoop基础设施之上的数据仓库。 hbase是一种Key/Value系统，它运行在HDFS之上，是一个分布式的、面向列的开源数据 ...
分类：
其他好文 时间：
2018-09-30 11:26:08
阅读次数：
223
