HDFS(Hadoop Distributed FileSystem), 是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的 机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 一、特点及限制 HDFS以流式数据访问模式来存储超大文件 ...
分类：
其他好文 时间：
2018-09-10 00:52:19
阅读次数：
229
"Gluster" FS 是一个开源的网络分布式文件系统，前一阵子看了一点GlusterFS(Gluster)的代码，修改了部分代码，具体是增加了一个定制的xlator，简单记录一下。 Gluster与xlator 随着计算机技术的发展，不管哪一个领域的数据都呈现出爆炸性增长的趋势，因此产生了大数据 ...
分类：
其他好文 时间：
2018-09-09 14:55:27
阅读次数：
196
1. FastDFS介绍 FastDFS是一个开源的轻量级分布式文件系统，由跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）三个部分组成，主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size <500M ...
分类：
其他好文 时间：
2018-09-07 00:53:55
阅读次数：
192
作者：gqk 1，Hadoop的前世今生： 2，hadoop是什么： Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS，Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapRedu ...
分类：
其他好文 时间：
2018-09-05 17:47:59
阅读次数：
146
1. HADOOP背景介绍 1.1 什么是HADOOP Hadoop hive hbase flume kafka sqoop spark flink ……. 1.2 HADOOP产生背景 ——分布式文件系统（GFS），可用于处理海量网页的存储 ——分布式计算框架MAPREDUCE，可用于处理海量网 ...
分类：
其他好文 时间：
2018-09-05 11:39:05
阅读次数：
195
MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。
分类：
其他好文 时间：
2018-09-05 10:32:35
阅读次数：
192
什么是大数据？用于①数据的存储：分布式文件系统（分布式存储）②数据的计算：分布式计算。简单一点就是存储和计算的问题，解决日常海量数据的分析。学习大数据需要什么基础呢？Java基础（Javase）:类、类、继承、I/O、反射、泛型等；Linux基础（Linux的操作）:创建文件、目录、vi编辑器的使用；Java和大数据都有哪些关系呢？基于Java语言开发→→→Hadoop体系结构、原理、编程第一阶段
分类：
其他好文 时间：
2018-09-01 17:31:34
阅读次数：
160
一、大数据大数据：解决海量数据问题的技术。大数据由巨型数据集组成，把数据集合并进行分析可得出许多额外的信息和数据关系性。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术是指从各种各样类型的数据中，快速获得有价值信息的能力，适用于大数据的技术，包括大数据技术包括大规模并行处理数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网和可扩展的存储
分类：
其他好文 时间：
2018-08-30 22:45:51
阅读次数：
278
### HDFS分布式文件系统
1. 分布式存储
2. 分布式计算 ### 2、hadoop
hadoop含有四个模块，分别是 common、 hdfs和yarn。
1. common 公共模块。 2. HDFS hadoop distributed file system，hadoop分布式文件系... ...
分类：
其他好文 时间：
2018-08-27 21:29:28
阅读次数：
257
FastDfs 分布式文件系统 充分考虑负载均衡,冗余备份,线性扩容,并注重高可用 FastDFS 架构包括 Tracker server 和 Storage server 客户端请求 Tracker server 进行文件上传、下载，通过 Tracker server 调度最终由 Storage ...
分类：
其他好文 时间：
2018-08-25 23:01:47
阅读次数：
167
