Hadoop三大组件： 分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上（分布式存储） 分布式运算编程框架：MapReduce——实现多台机器的分布式并行运算。（分布式运算） 分布式资源调度平台：YARN —— 帮用户调度大量的mapreduce程序，并合理分配运算资源 Hive ...
分类：
其他好文 时间：
2019-08-14 14:26:48
阅读次数：
115
Hbase简介Hbase概述Hbase原型是Google的BigTable论文，受到了改论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可以在廉价的服务器上搭建起大规模的结构化存储集 ...
分类：
其他好文 时间：
2019-08-14 10:51:52
阅读次数：
217
一、Ceph简介： Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph 的统一体现在可以提供文件系统、块存储和对象存储，分布式体现在可以动态扩展。在国内一些公司的云环境中，通常会采用 ceph 作为openstack 的唯一后端存储来提高数据转发效率。 Ceph项目 ...
分类：
其他好文 时间：
2019-08-11 21:19:12
阅读次数：
105
····VSAN是一种以vSphere内核为基础进行开发、可扩展的分布式存储架构。VSAN通过在vSphere集群主机当中安装闪存和硬盘来构建VSAN存储层，由VSAN进行控制和管理，形成一个供vSphere集群使用的统一共享存储层。····vSphere基础架构中的存储正在发生变化，传统的基于LUN的存储管理机制将存储能力应用于数据存储级别。底层存储阵列不了解虚拟化，也不了解文件系统。VMwar
分类：
其他好文 时间：
2019-08-08 17:26:46
阅读次数：
158
GlusterFS在日常生产中遇到的很多，他有这配置简单、稳定等特点； 接下来我们来部署一下GlusterFS，介绍一下它的几种模式； 1解析主机名； 2.配置yum源；拷贝到其他主机； 3.安装glusterfs-server（四台主机都需要安装）；启动服务； 4.将成员主机添加到glusterf ...
分类：
其他好文 时间：
2019-08-05 19:10:50
阅读次数：
167
IT知识架构客户冰箱+牛奶+模具=（结果）（雪糕）牛奶：数据存储：磁盘（共享）1.SAN,NAS,DAS（专门将数据存储于磁盘阵列）2.分布式存储架构（HDFS）---------集群（应用）Hadoop分布式文件系统冰箱：系统：Linux只有Linux系统可以承载大数据应用模具：1.map-reduces数据处理集群，它是将海量数据按照一定的方式，修改为键值关系HDFS+map-reduces=
分类：
其他好文 时间：
2019-07-31 11:22:38
阅读次数：
119
1.数据存储：磁盘（1）三种架构存储方式。SAN、NAS、DAS。（2）分布式存储架构。注：1）SAN、NAS、DAS是共享存储架构。2）分布式存储架构是一个集群（应用）。3）分布式存储架构（HDFS），HDFS是用于存储数据的软件。2.操作系统：Linux3.1.运维/大数据大数据集群：（1）分布式存储架构（HDFS）（2）map-reduces的数据处理集群注：1）HDFS只是解决数据处理问题
分类：
其他好文 时间：
2019-07-31 11:14:42
阅读次数：
110
IT行业的工作方向1.数据存储：磁盘1）三种架构存储方式：SAN、NAS、DAS(专门将数据存储于磁盘阵列）（是共享存储架构）2）分布式存储架构（HDFS）--就是一个集群（应用）HDFS--Hadoop定义的文件分布式系统2.Linux操作系统3.数据处理：1）map-reduces的数据处理集群:它是将海量数据按照一定的方式，修改为键值关系（key-value）HDFS+map-reduces
分类：
其他好文 时间：
2019-07-31 10:35:19
阅读次数：
99
数据存储：磁盘(共享)--SANNASDAS(专门将数据存储于磁盘阵列)--分布式存储架构（HDFS）--集群（应用）应用要用在系统上面。系统：Linux操作系统能承受海量数据，大数运用。CPU是运算的核心模具：方法1、map-reduces的数据处理集群：它是将海量数据按照一定的方式，修改为键值关系（key-value）。HDFS+map-reduces=Hadoop集群（运行于Linux上的一
分类：
系统相关 时间：
2019-07-30 23:23:43
阅读次数：
131
机器交流通过指令 手机 简单指令集 电脑 复杂指令集 IT行业的工作方向 冰箱 + 牛奶 + 模具 = 雪糕 牛奶： 数据存储：磁盘（共享存储）-- SAN、NAS、DAS（专门将数据存储于磁盘阵列） 云计算做运维 --分布式存储架构（HDFS）集群（应用、软件） --分布式存储架构（HDFS）集群 ...
分类：
其他好文 时间：
2019-07-30 21:58:09
阅读次数：
144
