FastDfs 分布式文件系统 充分考虑负载均衡,冗余备份,线性扩容,并注重高可用 FastDFS 架构包括 Tracker server 和 Storage server 客户端请求 Tracker server 进行文件上传、下载，通过 Tracker server 调度最终由 Storage ...
分类：
其他好文 时间：
2018-08-25 23:01:47
阅读次数：
167
1.1 分布式文件系统 1.1.1 什么是分布式文件系统 相对于本机端的文件系统而言，分布式文件系统（英语：Distributed file system, DFS），或是网络文件系统（英语：Network File System），是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多 ...
分类：
其他好文 时间：
2018-08-25 20:03:24
阅读次数：
269
原文地址：https://dblab.xmu.edu.cn/blog/290-2/ Hadoop分布式文件系统（Hadoop Distributed File System,HDFS）是Hadoop核心组件之一，如果已经安装了Hadoop，其中就已经包含了HDFS组件，不需要另外安装。 在学习HDF ...
分类：
其他好文 时间：
2018-08-24 22:57:21
阅读次数：
742
1、请简要介绍一下Hadoop、Spark、MPI三种计算框架的特点以及分别适用什么样的场景？ Hadoop：基于分布式文件系统HDFS的分布式批处理计算框架，适用于数据量大、SPMD（单程序多数据）的应用 Spark：基于内存计算的并行计算框架，适用于需要迭代多轮计算的应用 MPI：基于消息传递的 ...
分类：
其他好文 时间：
2018-08-21 21:10:07
阅读次数：
194
Java大型互联网-构建高并发和高可用的电商平台架构实践原理 ...
分类：
编程语言 时间：
2018-08-14 12:16:44
阅读次数：
188
1、思维模式转变的催化剂是大量新技术的诞生，它们能够处理大数据分析所带来的3个V的挑战。扎根于开源社区，Hadoop已经是目前大数据平台中应用率最高的技术，特别是针对诸如文本、社交媒体订阅以及视频等非结构化数据。 2、除分布式文件系统之外，伴随Hadoop一同出现的还有进行大数据集处理MapRedu ...
分类：
其他好文 时间：
2018-08-12 14:16:13
阅读次数：
126
proxmox是一款开源的虚拟化管理平台，在服务器虚拟化方面有不俗的表现。曾经有个单cpu4线程、16G内存、300G内存开20多个centos，并且上面的应用都是tomcat的交易系统，稳定运行大半年的记录（公司倒闭，服务器被下架）。后来，陆续迁移一些陈旧物理服务器上的应用到proxmox虚拟化平台，也是受益多多。从proxmox5.版本开始，整合了分布式文件系统ceph，并对其进行了改进。官方
分类：
其他好文 时间：
2018-08-10 13:13:25
阅读次数：
604
HDFS知识点总结 学习完Hadoop权威指南有一段时间了，现在再回顾和总结一下HDFS的知识点。 1、HDFS的设计 HDFS是什么：HDFS即Hadoop分布式文件系统（Hadoop Distributed Filesystem），以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是管理网 ...
分类：
其他好文 时间：
2018-08-10 10:55:48
阅读次数：
154
在大数据的发展过程中，出现了一批专门应用与大数据的处理分析工具，如Hadoop，Hbase，Hive，Spark等，我们先从最基础的Hadoop开始进行介绍 Hadoop是apache基金会下所开发的分布式基础架构，实现了一个分布式文件系统（HDFS），HDFS拥有高容错性、高可靠性、高扩展性、高效 ...
分类：
其他好文 时间：
2018-08-07 13:02:02
阅读次数：
117
一、MFS概述(1)分布式原理分布式文件系统(isributedFileSystem)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。简单来说，就是把一些分散的(分布在局域网内各个计算机上)共享文件夹，集合到一个文件夹内(虚拟共享文件夹)。对于用户来说，要访问这些共享文件夹时，只要打开这个虚拟共享文件夹，就可以看到所有链接到虚拟共享文件夹内的共享文件夹，用户
分类：
其他好文 时间：
2018-08-06 10:25:07
阅读次数：
199
