Hadoop生态圈 摘要：一：基本构成：HDFS（Hadoop分布式文件系统）；Mapreduce（分布式计算框架）；HBASE（分布式列存数据库）； Zookeeper（分布式协作服务）；HIVE（数据仓库）；Pig(ad-hoc脚本）等。 二：详细了解一下其特性： Hadoop是一个由Apach ...
分类：
其他好文 时间：
2019-09-21 23:05:58
阅读次数：
119
hadoop简介 hadoop是基于Java语言开发的，具有很好的跨平台性，并且可以部署在廉价的计算机群众，hadoop的核心是分布式文件系统HDFS（hadoop distributed file system）和mapreduce,HDFS具有较高的读写速度和和好的容错性和可伸缩性并且具有大规模 ...
分类：
其他好文 时间：
2019-09-21 18:47:50
阅读次数：
87
https://www.cnblogs.com/sunnydou/p/49b92d511047f4f9da6cd727cfd415d5.html(文章出处) 一、基本模块及高可用架构 FastDFS 是余庆老师开发的一个开源的高性能分布式文件系统（DFS）。 它的主要功能包括：文件存储，文件同步和文 ...
分类：
其他好文 时间：
2019-09-18 10:41:55
阅读次数：
187
FastDFS(Fast Distributed File System)是一款开源轻量级分布式文件系统，我花费了一天的时间安装和配置通，期间参考：https://www.cnblogs.com/handsomeye/p/9451568.html，现在总结一下，希望能让后来者少走弯路。 环境：Cen ...
分类：
其他好文 时间：
2019-09-17 23:01:03
阅读次数：
182
介绍：<!--more--> HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。 HDFS 设计原理 HDFS 架构 HDFS 遵循主/从架构，由单个 NameNode(NN) 和多个 ...
分类：
其他好文 时间：
2019-09-14 19:38:43
阅读次数：
162
一、概要 这篇文章，给大家聊聊分布式文件系统HDFS在大量客户端并发写数据时，如何进行性能优化？ 二、背景引入 先引入一个小的背景，假如多个客户端同时要并发的写Hadoop HDFS上的一个文件，这个事儿能成吗？ 明显不可以接受啊，因为HDFS上的文件是不允许并发写的，比如并发的追加一些数据什么。 ...
分类：
编程语言 时间：
2019-09-12 16:21:02
阅读次数：
80
1. 什么是FastDFS FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制， 充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 FastDFS ...
分类：
其他好文 时间：
2019-09-06 17:21:56
阅读次数：
111
Cephwen件系统的名称是CephFS，它是一个POSIX兼容的分布式文件系统，并使用CephRADOS存储数据。要实现Cephwen件系统，需要一个正常运行的Ceph存储集群，并且至少包含一个Ceph元数据服务器(CephMetadataServer,MDS)。客户端可以通过两种方式使用Ceph wen件系统:使用本地内核驱动程序挂载CephFS，或者使用CephFUSE。（1）准备一个健康的cep
分类：
其他好文 时间：
2019-09-03 19:32:12
阅读次数：
104
HDFS：Hadoop Distributed File System ，Hadoop分布式文件系统，主要用来解决海量数据的存储问题。分NameNode、SecondaryNameNode、DataNode这几个角色。 ...
分类：
其他好文 时间：
2019-08-28 09:14:04
阅读次数：
87
好程序员大数据学习路线Hadoop学习干货分享，ApacheHadoop为可靠的，可扩展的分布式计算开发开源软件。ApacheHadoop软件库是一个框架，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集（海量的数据）。包括这些模块：HadoopCommon：支持其他Hadoop模块的常用工具。Hadoop分布式文件系统（HDFS?）：一种分布式文件系统，可提供对应用程序数据的高吞吐量
分类：
其他好文 时间：
2019-08-27 17:06:02
阅读次数：
85
