GlusterFS简介： 互联网四大开源分布式文件系统分别是：MooseFS、CEPH、Lustre、GusterFS. GluterFS最早由Gluster公司开发，其目的是开发一个能为客户提供全局命名空间、分布式前端及高达数百PB级别扩展性的分布式文件系统。 相比其他分布式文件系统，Gluste ...
分类：
其他好文 时间：
2019-08-23 00:01:14
阅读次数：
280
第七章 推荐系统实例 7.1 外围架构 数据收集和存储 需要实时存取的数据存储在数据库和缓存中，而大规模的非实时地存取数据存储在分布式文件系统中（HDFS）中。 7.2 推荐系统架构 用户和物品的联系如下所示： 如果认为用户喜欢的物品也是一种用 户特征，或者和用户兴趣相似的其他用户也是一种用户特征， ...
分类：
其他好文 时间：
2019-08-22 13:23:02
阅读次数：
115
为什么要有Hadoop？ 从计算机诞生到现今，积累了海量的数据，这些海量的数据有结构化、半结构化、非 结构的数据，并且这些海量的数据存储和检索就成为了一大问题。 我们都知道大数据技术难题在于一个数据复杂性、数据量、大规模的数据计算。 Hadoop就是为了解决这些问题而出现的。 Hadoop的诞生 D ...
分类：
其他好文 时间：
2019-08-20 01:15:59
阅读次数：
113
下面我们来学习Windows Server 2008文件服务器，文件服务器对于企业是相当重要的，所有的资料都保存在文件服务器上面，对于整个企业来说数据算得上是最重要的东西，下面介绍一下文件服务器的搭建以及管理，包括共享权限，以及多次共享一个文件夹，还有默认共享及隐藏共享，还有分布式文件系统搭建，怎样 ...
是什么？ FastDFS是一个轻量级分布式文件系统。 能干嘛？ 对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等。 相关概念 一、网络拓扑图 对上图的基本了解，client是客户端，tracker和storage是FastDFS系统的俩个角色。 二、详细了解tracke ...
分类：
其他好文 时间：
2019-08-16 17:04:49
阅读次数：
90
Hadoop三大组件： 分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上（分布式存储） 分布式运算编程框架：MapReduce——实现多台机器的分布式并行运算。（分布式运算） 分布式资源调度平台：YARN —— 帮用户调度大量的mapreduce程序，并合理分配运算资源 Hive ...
分类：
其他好文 时间：
2019-08-14 14:26:48
阅读次数：
115
1. hadoop中HDFS的NameNode原理 1.1. 组成 包括HDFS（分布式文件系统），YARN（分布式资源调度系统），MapReduce（分布式计算系统），等等。 1.2. HDFS架构原理 比如现在要上传一个1T的大文件，提交给HDFS的 （用以存放文件目录树，权限设置，副本数设置等 ...
分类：
其他好文 时间：
2019-08-13 17:25:04
阅读次数：
89
首先我们来认识一下HDFS， HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件，为了降低文件丢失造成的错误，它会为每个小文件复制多个副本（默认为三 ...
分类：
其他好文 时间：
2019-08-13 00:53:23
阅读次数：
203
hadoop(一HDFS) 介绍 狭义上来说: hadoop指的是以下的三大系统: HDFS ：分布式文件系统(高吞吐,没有延时要求,容错性,扩展能力)MapReduce : 分布式计算系统Yarn：分布式样集群资源管理 但是hadoop可不止这三个系统 广义上来说: hadoop指的是大数据的一个 ...
分类：
其他好文 时间：
2019-08-13 00:44:13
阅读次数：
88
一、Ceph简介： Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph 的统一体现在可以提供文件系统、块存储和对象存储，分布式体现在可以动态扩展。在国内一些公司的云环境中，通常会采用 ceph 作为openstack 的唯一后端存储来提高数据转发效率。 Ceph项目 ...
分类：
其他好文 时间：
2019-08-11 21:19:12
阅读次数：
105
