什么是MFS？MooseFS是一个容错，高可用，高性能，扩展，网络分布式文件系统。它将数据分布在多个物理商品服务器上，这些服务器对用户可视为一个虚拟磁盘。它符合POSIX并且像任何其他类Unix文件系统一样支持：分层结构：文件和文件夹，文件属性，特殊文件：管道，插座，块和字符设备，符号和硬链接，安全属性和ACL。它适用于需要标准文件系统的所有应用程序。分布式原理分布式文件系统是指文件系统管理的物理
分类：
其他好文 时间：
2018-07-26 21:20:01
阅读次数：
178
Hadoop：离线计算Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS ...
分类：
其他好文 时间：
2018-07-26 19:51:08
阅读次数：
171
MFS原理MFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。MFS的组成管理服务器Master：负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复.多节点拷贝元数据日志服务器MetaLogger：负责备份master服务器的变化日志文件，文件类型为changelog_ml.*.mfs，以便于在master出问题的时候。从
分类：
其他好文 时间：
2018-07-26 18:44:00
阅读次数：
166
Hadoop发展到今天家族产品已经非常丰富，能够满足不同场景的大数据处理需求。作为目前主流的大数据处理技术，市场上很多公司的大数据业务都是基于Hadoop开展，而且对很多场景已经具有非常成熟的解决方案。作为开发人员掌握Hadoop及其生态内框架的开发技术，就是进入大数据领域的必经之路。下面详细介绍一下，学习Hadoop开发技术的路线图。Hadoop本身是用java开发的，所以对java的支持性非常
分类：
其他好文 时间：
2018-07-24 23:49:04
阅读次数：
235
一、题目描述 （1）请编写Spark应用程序，该程序可以在分布式文件系统HDFS中生成一个数据文件peopleage.txt，数据文件包含若干行（比如1000行，或者100万行等等）记录，每行记录只包含两列数据，第1列是序号，第2列是年龄。效果如下： （2）请编写Spark应用程序，对分布式文件系统 ...
分类：
其他好文 时间：
2018-07-22 20:46:48
阅读次数：
246
Hadoop生态圈 存储数据HDFS(Hadoop Distributed File System),运行在通用硬件上的分布式文件系统。具有高度容错性、高吞吐量的的特点。 处理数据MapReduce，它是一种编程模型，Map（映射）和Reduce（归约），它极大地方便了分布式并行编程，与hdfs的高 ...
分类：
其他好文 时间：
2018-07-22 17:09:14
阅读次数：
179
glusterfs 怎么集群,网上一搜铺天盖地的 可利用这个特点做单节点高可用,因为K8S 哪怕节点宕机了 master 会在随意一台节点把挂掉的复活 当然我是在自己的环境下跑,经过网络的glusterfs,数据传输,等都有一定的性能损耗,对网络要求也特别高 小文件存储性能也不高等问题. 这里记录一 ...
分类：
数据库 时间：
2018-07-20 22:37:57
阅读次数：
400
用通俗易懂的大白话讲解Map/Reduce原理 用通俗易懂的大白话讲解Map/Reduce原理 2014年03月31日 16:20:44 阅读数：150434 2014年03月31日 16:20:44 阅读数：150434 阅读数：150434 Hadoop简介Hadoop就是一个实现了Google ...
分类：
其他好文 时间：
2018-07-20 18:58:08
阅读次数：
156
初期： 单台服务器部署 web与数据库独立部署 动静分离-初期 数据库主从与查询缓存 七层负负载均衡和共享存储 中期： 数据库架构扩展 soa面向服务器架构 dns轮训与数据库全文索引 静态缓存服务器 分布式文件系统cdn 现在 弹性伸缩 微服务 nosql 内存化 异地容灾，应急方案 ...
分类：
Web程序 时间：
2018-07-17 00:12:37
阅读次数：
189
