一、HDFS伪分布式环境搭建Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实
分类：
其他好文 时间：
2018-04-07 12:51:45
阅读次数：
183
Hadoop的两大功能：海量数据存储和海量数据分析 Hadoop2的三大核心组件是：HDFS、MapperReducer和yarn 1、HDFS：分布式文件系统海量数据存储 2、MapperReducer：运算框架，海量数据分析 3、yarn：资源调度管理集群 HDFS工作机制：基于namenode ...
分类：
其他好文 时间：
2018-04-07 12:51:32
阅读次数：
115
Hadoop自带HDFS，即 Hadoop Distributed FileSystem（不是HaDoop FileSystem 的简称） 适用范围 超大文件：最新的容量达到PB级 流式数据访问：HDFS的构建思路：一次写入、多次读取时最高效的访问模式 低时间延迟的数据访问不适用HDFS 大量的小文 ...
分类：
其他好文 时间：
2018-04-07 11:28:21
阅读次数：
136
1、在window操作系统上，使用eclipse开发工具从hdfs分布式文件系统上下载文件报空指针异常解决方法： 2、将hadoop-2.5.0-cdh5.3.6.tar.gz文件在window操作系统解压缩，配置好环境变量。 然后验证一下是否配置成功，操作如window+R，输入cmd： 然后将如 ...
分类：
编程语言 时间：
2018-04-06 18:37:50
阅读次数：
235
1、mfs（mooseFS）：分布式文件系统，文件系统管理的物理资源存储在不同的节点上，通过计算机网络与节点相连。具有容错、高可用性，可扩展的海量存储等特性。mfs好处：集中访问，简化操作，数据容灾，提高文件存取性能。2、mfs原理：1）、mfs文件系统组成：元数据服务器（master）：管理文件系统，维护元数据元数据日志服务器（metalogger）：备份master的日志变化，文件类型为cha
分类：
其他好文 时间：
2018-04-03 15:27:40
阅读次数：
332
前言：前面我们学习过NFS，以及虚拟化课程的时候我们学习过openfiler，这两个都是属于存储服务器。但是他们有着共同的缺点，就是性能不好，因为都是通过共享方式共享一个存储空间，使得服务器不堪重负，会出现超时的问题，而且存在着单点故障问题，尽管可以用rsync同步数据到另外一台服务器上做备份，但性能方便没有任何提升。而分布式文件系统把数据分散存储在不同的服务器上，读取数据的时候相当于同时读取，不
分类：
其他好文 时间：
2018-04-02 21:13:38
阅读次数：
304
分布式文件系统就是把一些分散在多台计算机上的共享文件夹，集合到一个共享文件夹内，用户要访问这些文件夹的时候，只要打开一个文件夹，就可以的看到所有链接到此文件夹内的共享文件夹。
分类：
其他好文 时间：
2018-03-30 00:09:22
阅读次数：
167
MFS分布式文件系统架构实战MFS文件系统的组成架构：如图元数据服务器（Master）：负责管理文件系统，维护元数据；元数据日志服务器（c）：备份Master服务器的变化日志文件；数据存储服务器（ChunkServer）：真正存储数据的服务器；客户端（Client）可像挂载NFS一样挂载MFS文件系统案例环境：第一步：搭建Masterserver准备工作：servicefirewalldstops
分类：
其他好文 时间：
2018-03-29 20:09:35
阅读次数：
210
多台服务器通过NFS方式共享一个服务器的存储空间，使得NFS服务器不堪重负，且会有单点故障问题，虽然用rsync可以使数据同步备份到另一台服务器，但对提高整个系统性能无帮助。采用MFS分布式文件系统，服务器之间的数据访问不再是一对多，而是多对多的关系，使性能大幅提升。下载地址http://ppa.moosefs.com/src/moosefs-3.0.100-1.tar.gzfuse-2.9.2.
分类：
其他好文 时间：
2018-03-28 16:54:49
阅读次数：
449
CentOS7继承了RHEL7的新的特性，例如强大的systemctl，而systemctl的使用也使得以往系统服务的/etc/init.d的启动脚本的方式就此改变，也大幅提高了系统服务的运行效率。但服务的配置和以往也发生了极大的不同，说实在的，变的简单而易用了许多。下面我从头到尾来写一个启动mfs的脚本CentOS7的服务systemctl脚本存放在：/usr/lib/systemd/，有系统（
分类：
其他好文 时间：
2018-03-26 16:09:53
阅读次数：
149
