FastDFS 集群部署 官网https://github.com/happyfish100 FastDFS是一款开源的高性能分布式文件系统(DFS)。主要功能:文件存储,文件同步和文件访问,以及高容量和负载平衡。主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB ...
分类:
其他好文 时间:
2019-05-27 13:14:47
阅读次数:
123
利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 在HDFS中为hadoop用户创建一个用户目录(hadoop用户) 在用户目录下创建一个input目录 在HDFS的根目录新建一个名称为input的目录 删除HDFS根目录中的“input” ...
分类:
其他好文 时间:
2019-05-27 13:09:36
阅读次数:
112
1.目录操作 在HDFS中为hadoop用户创建一个用户目录(hadoop用户) 在用户目录下创建一个input目录 在HDFS的根目录下创建一个名称为input的目录 删除HDFS根目录中的“input”目录 2.文件操作 使用vim编辑器,在本地Linux文件系统的“/home/hadoop/” ...
分类:
其他好文 时间:
2019-05-27 11:59:58
阅读次数:
119
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点 ...
分类:
其他好文 时间:
2019-05-26 17:36:54
阅读次数:
140
查看glusterFS情况 oc project infra-storage oc get all #找到其中一个pod,前缀为 po/glusterfs-registry-xxxx oc exec glusterfs-registry-xxxx gluster volume list 更多的glu ...
分类:
其他好文 时间:
2019-05-25 19:47:23
阅读次数:
165
产生背景 自 1970 年以来,关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后, 好多公司实现处理大数据并从中受益,并开始选择像 Hadoop 的解决方案。Hadoop 使用分 布式文件系统,用于存储大数据,并使用 MapReduce 来处理。Hadoop 擅长于存储各种格式 的庞大 ...
分类:
其他好文 时间:
2019-05-24 12:42:09
阅读次数:
102
hadoop相关子系统: Apache Hadoop是Apache的一个分布式计算开源框架,提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构 那什么是MapReduce呢? 举例来说,统计一系列的文档中的词汇。文档数量规模很大,有1000万个文档,英文单词的总数 ...
分类:
其他好文 时间:
2019-05-22 11:02:14
阅读次数:
90
关于ubuntu server 18 上部署glusterfs和heketi的文章网上有很多了,看起来都很顺利,但是我在部署的时候偏偏遇到了很多的问题, 记录一下。 环境:Ubuntu Server 18.04 glusterfs-3.13 heketi-v9 heketi-client-v9 1、 ...
分类:
系统相关 时间:
2019-05-17 09:17:56
阅读次数:
256
一、概述Ceph是可靠的、可扩展的、统一的、开源分布式的存储系统。可以同时提供对象存RADOSGW(Reliable、Autonomic、Distributed、ObjectStorageGateway)、块存储RBD(RadosBlockDevice)、文件系统存储CephFS(CephFilesystem)3种功能。 Ceph是一个开源的分布式文件系统。因为它还支持块存储、对象存储,所以很自
分类:
其他好文 时间:
2019-05-14 00:43:07
阅读次数:
124
1、HDFS的设计 HDFS是什么:HDFS即Hadoop分布式文件系统(Hadoop Distributed Filesystem),以流式数据访问模式来存储超大文件,运行于商用硬件集群上,是管理网络中跨多台计算机存储的文件系统。 HDFS不适合用在:要求低时间延迟数据访问的应用,存储大量的小文件 ...
分类:
其他好文 时间:
2019-05-11 09:25:26
阅读次数:
101