大数据平台是为了计算,现今社会所产生的越来越大的数据量,以存储、运算、展现作为目的的平台。大数据技术是指从各种各样类型的数据中,快速获得有价值信息的能力。适用于大数据的技术,包括大规模并行处理(MPP)数据库,数据挖掘电网,分布式文件系统,分布式数据库,云计算平台,互联网,和可扩展的存储系统。 —— ...
分类:
其他好文 时间:
2018-02-21 21:05:49
阅读次数:
178
一、配置tracker 目标: FastDFS是一个分布式文件系统,主要的服务器角色有Tracker和Storage。本例安装一台Tracker,实现以下功能: 接受客户端的访问 检索存储节点,为客户端提供一台可用的storage 方案: 准备一台虚拟机,安装FastDFS Tracker。 主机的 ...
分类:
Web程序 时间:
2018-02-13 14:32:21
阅读次数:
674
nfs简介 nfs 或者叫网络问卷系统 是一种分布式文件系统协议,使得你可以挂载远程的目录到你的服务器上。使得你可以在不同的地点管理存储空间 而且可以从多个客户端写入数据。NFS通过网络提供了一种相对便捷和简单的方式 去访问远程的系统 特别是在某些需要定期访问分享资源情况下 构建一个简单的NFS系统 ...
分类:
其他好文 时间:
2018-02-10 17:06:24
阅读次数:
147
FastDFS基础: 是一款开源分布式文件系统。用纯C语言实现 功能包括:文件存储,文件同步,文件访问(上传,下载) 解决了大容量存储和负载均衡的问题服务端有两个角色:跟踪器 做调度工作、启负载均衡作用 (192.168.4.70)存储节点 存储、同步和提供存取接口,对文件的数据进行管理(192.168
分类:
其他好文 时间:
2018-02-09 17:34:34
阅读次数:
253
05: 分布式文件系统 、 FastDFS原理 、 FastDFS配置及应用
分类:
其他好文 时间:
2018-02-09 15:11:32
阅读次数:
152
本文主要详细介绍了mfs分布式文件系统的使用及搭建过程
分类:
其他好文 时间:
2018-02-08 11:10:00
阅读次数:
199
一、什么是Hadoop? Hadoop是Apache下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布 ...
分类:
其他好文 时间:
2018-02-07 14:44:49
阅读次数:
208
通过heketi提供的RestfullApi来管理 Gluster,进而与kubernetes集成。将gluster作为kubernetes的数据存储 1 安装 安装gluster 参见 GlusterFS 一 安装heketi yum -y install heketi heketi-client ...
分类:
其他好文 时间:
2018-02-06 18:16:36
阅读次数:
318
1. 搭建hbase集群的前提条件是: (1) 需要有一个可用的hdfs分布式文件系统(2) 需要有一个可用的zookeeper或者集群 (3)搭建机器需要有jdk 的环境 2. 上传 用root用户和其他用户来安装都是可行的。 这个用 root用户,用工具将hbase安装包hbase-0.99.2 ...
分类:
其他好文 时间:
2018-02-06 11:40:25
阅读次数:
224
1、环境规划如下 centos7.4 三个节点一块 sdb 3G大小的测试硬盘 2、Glusterfs 卷的类型比较多,这里我们测试最常用的一种 Distributed Replicated Glusterfs Volume,架构如下 3、安装部署 [root@glusterfs1 ~]# mkdi ...
分类:
其他好文 时间:
2018-02-05 12:47:05
阅读次数:
203