GlusterFS在日常生产中遇到的很多,他有这配置简单、稳定等特点; 接下来我们来部署一下GlusterFS,介绍一下它的几种模式; 1解析主机名; 2.配置yum源;拷贝到其他主机; 3.安装glusterfs-server(四台主机都需要安装);启动服务; 4.将成员主机添加到glusterf ...
分类:
其他好文 时间:
2019-08-05 19:10:50
阅读次数:
167
hadoop集群安装模式 1)单机模式 直接解压,无需任何配置。主要用于测试代码。没有分布式文件系统。 2)伪分布式 完全分布式的一种形式,只是所有的进程都配置要一个节点上。有分布式文件系统,只不过是这个文件系统只有一个节点。 3)完全分布式 包含主节点和从节点,主节点namenode只有一个(一般 ...
分类:
其他好文 时间:
2019-08-01 09:43:21
阅读次数:
117
IT知识架构客户冰箱+牛奶+模具=(结果)(雪糕)牛奶:数据存储:磁盘(共享)1.SAN,NAS,DAS(专门将数据存储于磁盘阵列)2.分布式存储架构(HDFS)---------集群(应用)Hadoop分布式文件系统冰箱:系统:Linux只有Linux系统可以承载大数据应用模具:1.map-reduces数据处理集群,它是将海量数据按照一定的方式,修改为键值关系HDFS+map-reduces=
分类:
其他好文 时间:
2019-07-31 11:22:38
阅读次数:
119
FastDFS+Nginx组合优点 使用FastDFS部署一个分布式文件系统的时候,通过FastDFS的客户端API来进行文件的上传、下载、删除等操作,同时通过FastDFS的HTTP服务器来提供HTTP服务。但是FastDFS的HTTP服务较为简单,无法提供负载均衡等高性能的服务,所以FastDF ...
分类:
其他好文 时间:
2019-07-28 17:30:38
阅读次数:
92
1.绪论 最近要用到fastDFS,所以自己研究了一下,在搭建FastDFS的过程中遇到过很多的问题,为了能帮忙到以后搭建FastDFS的同学,少走弯路,与大家分享一下。FastDFS的作者淘宝资深架构余庆,这个优秀的轻量及的分布式文件系统的开源没多久,立马就火了。由于篇幅较大,本博文共四篇,第一篇 ...
分类:
其他好文 时间:
2019-07-28 15:55:03
阅读次数:
96
1.CentOS7 FastDFS搭建 前面已下载好了要用到的工具集,下面就可以开始安装了: 如果安装过程中出现问题,可以下载我提供的,当前测试可以通过的工具包: 点这里点这里 1.1 安装libfastcommon 安装成功后解压libfastcommon-master.zip 当我们./make ...
分类:
其他好文 时间:
2019-07-28 15:52:54
阅读次数:
91
阿里云关系型数据库(Relational Database Service,简称RDS)是一种稳定可靠、可弹性伸缩的在线数据库服务。基于阿里云分布式文件系统和SSD盘高性能存储,RDS支持MySQL、SQL Server、PostgreSQL、PPAS(Postgre Plus Advanced S ...
分类:
数据库 时间:
2019-07-24 19:32:11
阅读次数:
187
hdfs:分布式文件系统 有目录结构,顶层目录是: /,存的是文件,把文件存入hdfs后,会把这个文件进行切块并且进行备份,切块大小和备份的数量有客户决定。 存文件的叫datanode,记录文件的切块信息的叫namenode Hdfs的安装 准备四台linux服务器 先在hdp-01上进行下面操作 ...
分类:
其他好文 时间:
2019-07-23 13:33:30
阅读次数:
98
作者|大尊hdfs是hadoop的分布式文件系统,即HadoopDistributedFilesystem。下面主要讲下HDFS设计中的比较重要的点,使读者能通过简短的文章一窥HDFS的全貌,适合对HDFS有一点了解,但是对HDFS又感到困惑的初学者。本文主要参考的是hadoop3.0的官方文档。链接:http://hadoop.apache.org/docs/current/hadoop-pro
分类:
其他好文 时间:
2019-07-23 10:03:46
阅读次数:
159
博文大纲:(一)GlusterFS相关概念。(二)GlusterFS各种卷类型的部署及客户端挂载使用。(三)GlusterFS维护命令。(一)GlusterFS相关概念:GlusterFS是一个开源的分布式文件系统,同时也是Scale-Out存储解决方案Gluster的核心,在存储数据方面有强大的横向扩展能力。GlusterFS主要由存储服务器、客户端及NFS/Samba存储网关(可选组件)组成。
分类:
其他好文 时间:
2019-07-20 23:38:09
阅读次数:
131