一 Ceph文件系统 1.1 概述 CephFS也称ceph文件系统，是一个POSIX兼容的分布式文件系统。 实现ceph文件系统的要求： 需要一个已经正常运行的ceph集群； 至少包含一个ceph元数据服务器（MDS）。 需要一个已经正常运行的ceph集群； 至少包含一个ceph元数据服务器（MD ...
分类：
其他好文 时间：
2019-02-19 13:21:32
阅读次数：
204
一、简介 FastDFS是一个开源的轻量级分布式文件系统，由跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）三个部分组成 fastfds有两个角色：跟踪服务和存储服务 跟踪服务控制：主要做调度工作，在访问上起负载均衡的作用。 存储服务包括 ...
分类：
其他好文 时间：
2019-02-18 14:17:09
阅读次数：
174
本文进行了以下工作： 预备知识 和各种大型关系型数据库（如sql server和oracle等）一样，Hadoop有自己的文件系统，在操作系统中只能看到文件，用文件工具强制打开以后是无法理解的乱码，只能通过Hadoop系统去管理和读取。 所以OS的文件系统和hadoop的文件系统是相互独立的，要用h ...
分类：
其他好文 时间：
2019-02-18 10:16:45
阅读次数：
240
Hadoop分布式文件系统（HDFS）是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。要理解HDFS的内部工作原理，首先要理解什么是分布式文件系统。 1 、分布式文件系统 多台计算机 ...
分类：
其他好文 时间：
2019-02-13 12:33:33
阅读次数：
196
2019年1月，伴随 APACHE FLINK 的母公司 Data Artisans 被收购，FLINK 毫无疑义成为继 SPARK 之后的新一代大数据计算平台，本文希望通过 GOOGLE 计算平台演进来更好的理解 FLINK。
分类：
Web程序 时间：
2019-02-13 10:48:21
阅读次数：
304
转自：https://www.cnblogs.com/caiyisen/p/7395843.html 学习完Hadoop权威指南有一段时间了，现在再回顾和总结一下HDFS的知识点。 1、HDFS的设计 HDFS是什么：HDFS即Hadoop分布式文件系统（Hadoop Distributed Fil ...
分类：
其他好文 时间：
2019-02-05 13:13:27
阅读次数：
204
监控集群状态 [4ajr@elk1 scripts]$ cat glusterfs_peer_status.sh #!/bin/bash peer_status=`sudo gluster peer status | grep State | uniq` if [ "State: Peer in C ...
分类：
其他好文 时间：
2019-02-03 10:54:29
阅读次数：
191
1.单机(非分布式)模式 这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。 2.伪分布式运行模式 这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,S ...
分类：
其他好文 时间：
2019-01-27 13:00:41
阅读次数：
191
kudu 1.7 官方：https://kudu.apache.org/ 一 简介 kudu有很多概念，有分布式文件系统（HDFS），有一致性算法（Zookeeper），有Table（Hive Table），有Tablet（Hive Table Partition），有列式存储（Parquet），有 ...
分类：
其他好文 时间：
2019-01-21 13:46:36
阅读次数：
110
环境引入： 在一个大型的教育官网，会拥有大量优质的视频教程，并且免费提供给用户去下载，文件太多如果高效存储？用户访问量大如何保证下载速度？分布式文件系统是解决这些问题的有效方法之一 一、什么是文件系统 分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一 ...
分类：
其他好文 时间：
2019-01-20 14:06:36
阅读次数：
182
