MinIO 分布式集群搭建 分布式 Minio 可以让你将多块硬盘（甚至在不同的机器上）组成一个对象存储服务。由于硬盘分布在不同的节点上，分布式 Minio 避免了单点故障。 Minio 分布式模式可以搭建一个高可用的对象存储服务，你可以使用这些存储设备，而不用考虑其真实物理位置。 （1）数据保护 ...
分类：
其他好文 时间：
2019-12-05 13:02:30
阅读次数：
252
分布式开放消息系统(RocketMQ)的原理与实践 RocketMQ基础：https://github.com/apache/rocketmq/tree/rocketmq-all-4.5.1/docs/cn 分布式消息系统作为实现分布式系统可扩展、可伸缩性的关键组件，需要具有高吞吐量、高可用等特点。 ...
分类：
其他好文 时间：
2019-12-02 17:13:07
阅读次数：
131
1. 前置条件: 已经安装好了带有HDFS, MapReduce, Yarn 功能的 Hadoop集群 链接: "ubuntu18.04.2 hadoop3.1.2+zookeeper3.5.5高可用完全分布式集群搭建" 2. 上传tar包并解压到指定目录: 3. 修改hive配置文件: 新建文件夹 ...
分类：
其他好文 时间：
2019-12-02 13:51:54
阅读次数：
127
1、hdfs是通过分布式集群来存储文件，为客户端提供了一个便捷的访问方式，就是一个虚拟的目录结构2、文件存储到hdfs集群中去的时候是被切分成block的3、文件的block存放在若干台datanode节点上4、hdfs文件系统中的文件与真实的block之间有映射关系，由namenode管理5、每一 ...
分类：
其他好文 时间：
2019-11-25 20:52:22
阅读次数：
77
准备： 两台配置CentOS 7.3的阿里云ECS服务器； hadoop-2.7.3.tar.gz安装包； jdk-8u77-linux-x64.tar.gz安装包； hostname及IP的配置： 更改主机名： 由于系统为CentOS 7，可以直接使用‘hostnamectl set-hostna ...
分类：
其他好文 时间：
2019-11-23 13:12:49
阅读次数：
108
本篇将在阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建的基础上搭建，多添加了一个 datanode 节点 。 1 节点环境介绍： 1.1 环境介绍： 服务器：三台阿里云ECS服务器：master, slave1, slave2 操作系统：CentOS 7.3 Had ...
分类：
其他好文 时间：
2019-11-23 13:10:47
阅读次数：
98
本篇将在阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建的基础上搭建，多添加了一个 datanode 节点 。 1 节点环境介绍： 1.1 环境介绍： 服务器：三台阿里云ECS服务器：master, slave1, slave2 操作系统：CentOS 7.3 Had ...
分类：
其他好文 时间：
2019-11-23 13:04:25
阅读次数：
81
本篇将在 阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建 阿里云ECS服务器部署HADOOP集群（二）：HBase完全分布式集群搭建（使用外置ZooKeeper) 阿里云ECS服务器部署HADOOP集群（三）：ZooKeeper 完全分布式集群搭建 阿里云ECS服务 ...
分类：
其他好文 时间：
2019-11-23 12:54:33
阅读次数：
80
本篇将在阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建的基础上搭建。 1 环境介绍 一台阿里云ECS服务器：master 操作系统：CentOS 7.3 Hadoop：hadoop-2.7.3.tar.gz Java: jdk-8u77-linux-x64.tar. ...
分类：
Web程序 时间：
2019-11-23 12:53:35
阅读次数：
85
本篇将在阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建的基础上搭建。 本地模式需要采用MySQL数据库存储数据。 1 环境介绍 一台阿里云ECS服务器：master 操作系统：CentOS 7.3 Hadoop：hadoop-2.7.3.tar.gz Java: j ...
分类：
其他好文 时间：
2019-11-23 12:49:25
阅读次数：
82
