一、概要 这篇文章，给大家聊聊分布式文件系统HDFS在大量客户端并发写数据时，如何进行性能优化？ 二、背景引入 先引入一个小的背景，假如多个客户端同时要并发的写Hadoop HDFS上的一个文件，这个事儿能成吗？ 明显不可以接受啊，因为HDFS上的文件是不允许并发写的，比如并发的追加一些数据什么。 ...
分类：
编程语言 时间：
2019-09-12 16:21:02
阅读次数：
80
让我们了解 Ceph 分布式存储 前言 最近在学习 kubernetes 过程中，想实现 pod 数据的持久化。在调研的过程中，发现 ceph 在最近几年发展火热，也有很多案例落地企业。在选型方面，个人更加倾向于社区火热的项目，GlusterFS、Ceph 都在考虑的范围之内，但是由于 Gluste ...
分类：
其他好文 时间：
2019-09-10 13:33:40
阅读次数：
98
1. 什么是FastDFS FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制， 充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 FastDFS ...
分类：
其他好文 时间：
2019-09-06 17:21:56
阅读次数：
111
Cephwen件系统的名称是CephFS，它是一个POSIX兼容的分布式文件系统，并使用CephRADOS存储数据。要实现Cephwen件系统，需要一个正常运行的Ceph存储集群，并且至少包含一个Ceph元数据服务器(CephMetadataServer,MDS)。客户端可以通过两种方式使用Ceph wen件系统:使用本地内核驱动程序挂载CephFS，或者使用CephFUSE。（1）准备一个健康的cep
分类：
其他好文 时间：
2019-09-03 19:32:12
阅读次数：
104
一、存储卷的类型 emptyDir：在宿主机上分一块内存空间给pod当做存储空间 hostPath：在宿主机上分一块磁盘空间给pod当做存储空间 网络存储： SAN：iSCSI，FC NAS：nfs，cifs 分布式存储：glusterfs，rbd，cephfs，... 云存储：EBS，Azure， ...
分类：
Web程序 时间：
2019-08-31 18:57:13
阅读次数：
125
引言 本文通过对卷类型的分析对比，来帮助读者选取生产环境最符合服务的挂载存储，命令可结合《 "glusterfs详解及kubernetes 搭建heketi glusterfs" 》进行实验，下面进入正题 几种卷类型 基础卷：布式卷（distribute）、条带卷（stripe）、复制卷（repli ...
分类：
Web程序 时间：
2019-08-29 14:18:57
阅读次数：
247
HDFS：Hadoop Distributed File System ，Hadoop分布式文件系统，主要用来解决海量数据的存储问题。分NameNode、SecondaryNameNode、DataNode这几个角色。 ...
分类：
其他好文 时间：
2019-08-28 09:14:04
阅读次数：
87
好程序员大数据学习路线Hadoop学习干货分享，ApacheHadoop为可靠的，可扩展的分布式计算开发开源软件。ApacheHadoop软件库是一个框架，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集（海量的数据）。包括这些模块：HadoopCommon：支持其他Hadoop模块的常用工具。Hadoop分布式文件系统（HDFS?）：一种分布式文件系统，可提供对应用程序数据的高吞吐量
分类：
其他好文 时间：
2019-08-27 17:06:02
阅读次数：
85
Hadoop 是什么 Hadoop 是一个开源的大数据框架同时也是一个分布式计算的解决方案。Hadoop = HDFS （分布式文件系统）+MapReduce（分布式计算） HDFS HDFS 概念 数据块 NameNode DataNode 数据块： 数据块是一个抽象的块，而不是整个文件。默认大小 ...
分类：
其他好文 时间：
2019-08-25 12:00:12
阅读次数：
120
一．分布式文件系统： 是指文件系统管理的物理存储资源不一定直接是连接在本地节点上，而是通过计算机网络与节点相连． 分布式文件系统的设计基与C/S架构（客户端/服务器） 常见的分布式文件系统:Ceph、（红帽）Hadoop、FastDFS（国产） 二.Ceph分布式文件系统 特点：具有高扩展、高可用、 ...
分类：
其他好文 时间：
2019-08-24 22:50:33
阅读次数：
111
