简介 在分布式文件系统中,由于服务数量巨多,为了方便服务配置文件统一管理,实时更新,所以需要分布式配置中心组件。在Spring Cloud中,有分布式配置中心组件spring cloud config,它支持配置服务放在配置服务的内存中(即本地),也支持放在远程git仓库中。在spring clou ...
分类:
编程语言 时间:
2018-06-30 16:13:41
阅读次数:
205
一、概述 随着OpenStack日渐成为开源云计算的标准软件栈,Ceph也已经成为OpenStack的首选后端存储。Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。 ceph官方文档 http://docs.ceph.org.cn/ ceph中文开源社区 http://c ...
分类:
其他好文 时间:
2018-06-30 14:52:56
阅读次数:
258
一、Hadoop概述: Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS分布式文件系统为海量的数据提供了存储,则M ...
分类:
其他好文 时间:
2018-06-30 13:00:36
阅读次数:
1134
使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传, 下载等服务. Tracker server 作用是负载均衡和调度 ,通过 Tracker server 在文件上传时可以根据一些 策略找到 Storage server 提供文件上传服务。可以将 tracker 称为追踪服务器或调 ...
分类:
其他好文 时间:
2018-06-29 20:36:34
阅读次数:
209
一、FastDFS介绍 FastDFS开源地址:https://github.com/happyfish100 参考:分布式文件系统FastDFS设计原理 参考:FastDFS分布式文件系统 个人封装的FastDFS Java API:https://github.com/bojiangzhou/l ...
分类:
Web程序 时间:
2018-06-28 13:51:33
阅读次数:
224
Ceph:1、它是一个分布式文件系统,可以提供块存储、文件系统存储和对象存储。但是文件存储还不非常成熟,不建议在生产环境中使用。应用的最多的形式是块存储。2、Ceph主要组件OSD:对象存储设备,它是ceph中唯一的真正进行数据存储的组件。通常情况下,一个OSD进程绑定到一块物理磁盘。MON:Monitor监视器,跟踪整个集群的健康状态。它为每个ceph组件维护一个映射表。MON进程数目是奇数,如
分类:
其他好文 时间:
2018-06-25 17:04:48
阅读次数:
332
FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。其工作流程如下:1、tracker:是一个调度器,Fastdfs进程就是Fastdfs进程程序,trackers做了很多工作,replication(节点复制),deletion
分类:
其他好文 时间:
2018-06-25 11:02:07
阅读次数:
647
hbase: 分布式面向列的数据库,构建在hadoop之上,对海量结构化数据的快速随机访问。是hadoop生态系统的一部分,提供随机实时读写。hbase和hadoop的区别: hdfs hbase 1.分布式文件系统,存储大量数据 数据库 2.不支持快读单个记录查找 支持大表的快速查找 3.提供了高 ...
分类:
其他好文 时间:
2018-06-25 01:10:19
阅读次数:
154
上篇文章介绍了如何使用Spring Boot上传文件,这篇文章我们介绍如何使用Spring Boot将文件上传到分布式文件系统FastDFS中。 这个项目会在上一个项目的基础上进行构建。 1、pom包配置 我们使用Spring Boot最新版本1.5.9、jdk使用1.8、tomcat8.0。 <d ...
分类:
编程语言 时间:
2018-06-23 22:41:14
阅读次数:
254
一.Hadoop介绍 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的硬件上;而且它提供高吞吐量来访问应用程序的数据,适合那些有着超大数据集的应用程序。Hadoop的框架最核心的设计 ...
分类:
其他好文 时间:
2018-06-22 21:44:10
阅读次数:
274