1、FastDFS FastDFS是一个开源的分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。 2、Dubbo Dubbo 是阿里巴巴公司开源的一个高性能优秀 ...
分类:
其他好文 时间:
2018-05-25 14:00:02
阅读次数:
142
分布式文件系统HDFS 需要实现以下的一些目标: 1. 廉价的硬件设备 2. 流数据读写(和传统系统区别的地方,全部的数据一股脑的读取) 3. 大数据集(一个文件可能有时候大到好几个T) 4. 简单的文件模型(获取了批量处理的特性,只能追加,不可以修改) 5. 强大的跨平台特性(java开发的) H ...
分类:
其他好文 时间:
2018-05-24 23:05:18
阅读次数:
244
************************************************************************************************** ◆案例◆ RHCS搭建高可用分布式文件系统 【注意:RHCS只在RHEL 6 中存在 RHEL 7已经 ...
分类:
其他好文 时间:
2018-05-20 13:02:21
阅读次数:
251
************************************************************************************************** ◆案例◆ 部署MooseFS分布式文件系统****************************** ...
分类:
其他好文 时间:
2018-05-20 11:45:52
阅读次数:
260
一:来源 雅虎 >谷歌两篇论文GFS,mapreduce。 二:组成 hadoop common:支持其他Hadoop模块的常用工具。 HDFS:分布式文件系统,提供对应用程序数据的高吞吐量访问。全称:Hadoop Distributed File System。 hadoop yarn:作业调度和 ...
分类:
其他好文 时间:
2018-05-19 20:35:30
阅读次数:
243
一、Hadoop框架 1.HDFS(分布式文件系统) 2.MapReduce(分布式计算框架) 3.YARN(集群资源管理器) 4.Zookeeper(分布式协作服务) 5.Ambari(管理工具) 二、Spark(内存计算框架) 1.Scala 2.Spark SQL 3.Spark Stream ...
分类:
其他好文 时间:
2018-05-18 11:28:00
阅读次数:
137
(1)nfs简介 作用:通过网络的不同的主机之间共享资源,支持多节点挂载并发写入 特点:单台,适合小型网络集群架构,非常稳定;大型公司使用(mfs,glusterfs,fastdfs) nfs优点:部署和维护简单;数据是在文件系统之上,是能看见真实的数据,大型分布式文件系统都是看不到数据的;可靠稳定 ...
分类:
其他好文 时间:
2018-05-15 21:12:06
阅读次数:
175
hadoop是一堆开源软件的集合,下面把这些开源软件做个简单介绍ApacheHadoop:是Apache开源组织的一个分布式计算开源框架,是提供了一个分布式文件系统(HDFS)和支持MapReduce分布式计算的软件架构。ApacheHive:是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapR
分类:
其他好文 时间:
2018-05-14 15:42:46
阅读次数:
165
存储层(Hadoop分布式文件系统) HDFS一、分布式文件系统 多台计算机联网协同工作(有时也称为一个集群)就像单台系统一样解决某种问题,这样的系统我们称之为分布式系统。 分布式文件系统是分布式系统的一个子集,它们解决的问题就是数据存储。换句话说,它们是横跨在多台计算机上的存储系统。存储在分布式文 ...
分类:
其他好文 时间:
2018-05-13 18:01:59
阅读次数:
186
主要摘自 http://dblab.xmu.edu.cn/blog/290 2/ 简介 本指南介绍Hadoop分布式文件系统HDFS,并详细指引读者对HDFS文件系统的操作实践。Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)是Hadoop核心组件 ...
分类:
编程语言 时间:
2018-05-10 23:25:40
阅读次数:
312