Hadoop生态圈 摘要:一:基本构成:HDFS(Hadoop分布式文件系统);Mapreduce(分布式计算框架);HBASE(分布式列存数据库); Zookeeper(分布式协作服务);HIVE(数据仓库);Pig(ad-hoc脚本)等。 二:详细了解一下其特性: Hadoop是一个由Apach ...
分类:
其他好文 时间:
2019-09-21 23:05:58
阅读次数:
119
hadoop简介 hadoop是基于Java语言开发的,具有很好的跨平台性,并且可以部署在廉价的计算机群众,hadoop的核心是分布式文件系统HDFS(hadoop distributed file system)和mapreduce,HDFS具有较高的读写速度和和好的容错性和可伸缩性并且具有大规模 ...
分类:
其他好文 时间:
2019-09-21 18:47:50
阅读次数:
87
https://www.cnblogs.com/sunnydou/p/49b92d511047f4f9da6cd727cfd415d5.html(文章出处) 一、基本模块及高可用架构 FastDFS 是余庆老师开发的一个开源的高性能分布式文件系统(DFS)。 它的主要功能包括:文件存储,文件同步和文 ...
分类:
其他好文 时间:
2019-09-18 10:41:55
阅读次数:
187
FastDFS(Fast Distributed File System)是一款开源轻量级分布式文件系统,我花费了一天的时间安装和配置通,期间参考:https://www.cnblogs.com/handsomeye/p/9451568.html,现在总结一下,希望能让后来者少走弯路。 环境:Cen ...
分类:
其他好文 时间:
2019-09-17 23:01:03
阅读次数:
182
介绍:<!--more--> HDFS (Hadoop Distributed File System)是 Hadoop 下的分布式文件系统,具有高容错、高吞吐量等特性,可以部署在低成本的硬件上。 HDFS 设计原理 HDFS 架构 HDFS 遵循主/从架构,由单个 NameNode(NN) 和多个 ...
分类:
其他好文 时间:
2019-09-14 19:38:43
阅读次数:
162
一、概要 这篇文章,给大家聊聊分布式文件系统HDFS在大量客户端并发写数据时,如何进行性能优化? 二、背景引入 先引入一个小的背景,假如多个客户端同时要并发的写Hadoop HDFS上的一个文件,这个事儿能成吗? 明显不可以接受啊,因为HDFS上的文件是不允许并发写的,比如并发的追加一些数据什么。 ...
分类:
编程语言 时间:
2019-09-12 16:21:02
阅读次数:
80
1. 什么是FastDFS FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制, 充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 FastDFS ...
分类:
其他好文 时间:
2019-09-06 17:21:56
阅读次数:
111
Cephwen件系统的名称是CephFS,它是一个POSIX兼容的分布式文件系统,并使用CephRADOS存储数据。要实现Cephwen件系统,需要一个正常运行的Ceph存储集群,并且至少包含一个Ceph元数据服务器(CephMetadataServer,MDS)。客户端可以通过两种方式使用Ceph wen件系统:使用本地内核驱动程序挂载CephFS,或者使用CephFUSE。(1)准备一个健康的cep
分类:
其他好文 时间:
2019-09-03 19:32:12
阅读次数:
104
HDFS:Hadoop Distributed File System ,Hadoop分布式文件系统,主要用来解决海量数据的存储问题。分NameNode、SecondaryNameNode、DataNode这几个角色。 ...
分类:
其他好文 时间:
2019-08-28 09:14:04
阅读次数:
87
好程序员大数据学习路线Hadoop学习干货分享,ApacheHadoop为可靠的,可扩展的分布式计算开发开源软件。ApacheHadoop软件库是一个框架,它允许使用简单的编程模型跨计算机群集分布式处理大型数据集(海量的数据)。包括这些模块:HadoopCommon:支持其他Hadoop模块的常用工具。Hadoop分布式文件系统(HDFS?):一种分布式文件系统,可提供对应用程序数据的高吞吐量
分类:
其他好文 时间:
2019-08-27 17:06:02
阅读次数:
85