一 原理阐述 1' DFS 分布式文件系统（即DFS，Distributed File System），指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。该系统架构于网络之上，势必会引入网络编程的复杂性，因此分布式文件系统比普通磁盘文件系统更为复杂。 2' HDF ...
分类：
系统相关 时间：
2017-08-05 19:43:33
阅读次数：
1417
FastDFS安装、配置、部署（一） 摘要: FastDFS是一个开源的，高性能的的分布式文件系统，他主要的功能包括：文件存储，同步和访问，设计基于高可用和负载均衡，FastDFS非常适用于基于文件服务的站点，例如图片分享和视频分享网站 愿意了解框架技术或者源码的朋友直接求求交流分享技术：2042... ...
分类：
其他好文 时间：
2017-08-03 11:24:01
阅读次数：
201
FastDFS分布式文件系统 摘要: FastDFS简介 ?FastDFS是一个轻量级的开源分布式文件系统 ?FastDFS主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡 ?FastDFS实现了软件方式的RAID，可以使用廉价的IDE硬盘进行存储 ?支持存储服务器在线扩容 ... ...
分类：
其他好文 时间：
2017-08-03 11:23:21
阅读次数：
134
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在hadoop 分布式文件系统中的数据，可以将结构 化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需 要的内 ...
分类：
数据库 时间：
2017-07-29 16:28:31
阅读次数：
238
Hive： hive不支持更改数据的操作，Hive基于数据仓库，提供静态数据的动态查询。其使用类SQL语言，底层经过编译转为MapReduce程序，在Hadoop上运行，数据存储在HDFS上。 HDFS: HDFS是GFS的一种实现，他的完整名字是分布式文件系统，类似于FAT32，NTFS，是一种文 ...
分类：
其他好文 时间：
2017-07-29 15:14:40
阅读次数：
186
Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点， ...
分类：
其他好文 时间：
2017-07-28 09:47:23
阅读次数：
140
对于一个存储，不可避免的会遇到扩容、缩减存储容量的问题。1为Glusterfs扩容提前准备好了一个glustervolume:[root@node01~]#glustervolumeinforepvol
VolumeName:repvol
Type:Replicate
VolumeID:7015b7fe-8039-4d5d-b698-e8321df5289c
Status:Started
SnapshotCount:0
Numbe..
分类：
其他好文 时间：
2017-07-27 22:41:03
阅读次数：
250
重点组件：HDFS：分布式文件系统MAPREDUCE：分布式运算程序开发框架Hive：基于大数据技术（文件系统+运算框架）的SQL数据仓库工具Hbase：基于Hadoop的分布式海量数据库ZOOKEEPER：分布式协调服务基础组件Mahout：基于mapreduce/Spark/flink等分布式运算框架的机器学习算法库Ooz..
分类：
其他好文 时间：
2017-07-26 21:53:45
阅读次数：
180
在上一篇中我们介绍了Glusterfs在CentOS7上的安装，并且提到Glusterfsclient端有三种：Nativeclient,NFS,Samba，今天我们就来一起学习下这三种方式。在开始之前，我已经做好了一个Volume:[root@node01~]#glustervolumecreaterepvolreplica2>node01.lab.example.com:/brick..
分类：
其他好文 时间：
2017-07-26 17:42:22
阅读次数：
13645
前面一篇写到了在CentOS上如何安装glusterfs,以及简单创建了一个volume并实现了native-mount,今天我们重点看一下在glusterfs上都可以创建哪种类型的volume.1.首先还是先介绍下实验环境，今天共用到了5台虚拟机，其中4个虚拟机做server端,分别是：servera.lab.example.comserver..
分类：
其他好文 时间：
2017-07-25 10:20:00
阅读次数：
159
