Hadoop集群搭建(完全分布式) 这里设置了NameNode的地址,是在ruixuan.com这台主机上,设置hadoop的临时目录,自己指定。 replication的是副本数,意思是一个文件需要在HDFS分布式文件系统中保存几分,建议 DataNode的数量应大于等于replication。 ...
分类:
其他好文 时间:
2018-06-20 12:50:56
阅读次数:
179
如果您想要使用分布式文件系统,并在多台虚机实例上共享存储,您可以使用NAS服务。本文以WindowsServer2012R2系统为例,描述了如何在一台Windows虚机实例上挂载一个NAS文件系统。一、首先连接Windows实例。安装NFS客户端。打开服务器管理。选择管理>添加角色和功能。按添加角色和功能向导指示安装NFS客户端,注意以下配置:在服务器角色选项卡下,选择NFS服务器。在功能选
分类:
Windows程序 时间:
2018-06-19 17:49:20
阅读次数:
4855
FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载
分类:
其他好文 时间:
2018-06-19 14:43:50
阅读次数:
428
一.Nosql数据库四大类介绍 1.K,v键值:redis,memcache, 2.文档性数据库:MongoDB,CouchDB 3.列存储数据库:分布式文件系统,HBase,Cassandra 4.图关系数据库:(不是放图形的,放的是关系,例如:朋友圈社交网络,广告推荐等)构建关系图谱 二.传统的 ...
分类:
其他好文 时间:
2018-06-15 11:02:34
阅读次数:
239
总所周知,HBase 是天生就是架设在 HDFS 上,在这个分布式文件系统中,HBase 是怎么去构建自己的目录树的呢? 第一,介绍系统级别的目录树。 一、0.94-cdh4.2.1版本 系统级别的一级目录如下,用户自定义的均在这个/hbase 下的一级子目录下 /hbase/-ROOT- /hba ...
分类:
其他好文 时间:
2018-06-09 18:52:39
阅读次数:
287
在已经搭建好的GlusterFS服务器上(如不知道如何搭建GlusteFS请参考上一篇): Create bricks: # truncate -s 1GB /srv/disk{1..4}# for i in `seq 1 4`;do mkfs.xfs -i size=512 /srv/disk$i ...
分类:
编程语言 时间:
2018-06-07 14:19:25
阅读次数:
798
环境准备:两台CentOS 7.2 干净系统 OS-01 192.168.10.1 OS-02 192.168.10.2 文件路径,如果yum源没有,请手动配置 https://buildlogs.centos.org/centos/7/storage/x86_64/ 软件包安装 #yum inst ...
分类:
其他好文 时间:
2018-06-07 14:07:08
阅读次数:
192
1、Proxmox proxmox是一个开源的虚拟化管理平台,支持集群管理和HA.在存储方面,proxmox除了支持常用的lvm,nfs,iscsi,还支持集群存储glusterfs和ceph,这也是我们选择它的原因.官方网站http://www.proxmox.com。 Proxmox VE (P ...
分类:
Web程序 时间:
2018-06-06 15:28:26
阅读次数:
932
FastDFS是一款类Google FS的开源分布式文件系统,它用纯C语言实现,支持Linux、FreeBSD、AIX等UNIX系统。它只能通过 专有API对文件进行存取访问,不支持POSIX接口方式,不能mount使用。准确地讲,Google FS以及FastDFS、mogileFS、 HDFS、 ...
分类:
其他好文 时间:
2018-06-05 16:26:11
阅读次数:
206
什么是FastDFS FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用 FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 FastDFS 架构包括 ...
分类:
Web程序 时间:
2018-06-03 19:40:31
阅读次数:
228