最近公司需要搭建一台FastDfs分布式文件系统，查询和参考了网络很多资料，但是从头到尾按他们的配置，中间都会或多或少的出错，可能是版本的问题，也可能是其他问题，经过自己不断的研究，终于成功配置完成，而且已经应用线上。现在把经验分享出来供大家参考，也作为自己的一个记录，以便今后用到能回顾一下。1、下载软件网上先下载需要安装的软件2、前期准备所需的工具下载完毕后，开始搭建准备，首先下载所需全部工具运
分类：
其他好文 时间：
2019-04-24 23:27:59
阅读次数：
176
EOS使用IPFS分布式文件系统作为底层存储。IPFS是一种内容可寻址、点对点、通过http协议传输的分布式文件系统。IPFS采用content-addressable寻址技术，即通过文件内容进行检索而不是通过文件的网络地址。简单来说，就是对文件内容进行hash运算，将hash值作为文件名保存在本地数据库中，所以，只要文件内容不变，则文件名也保持不变。运行IPFS的节点，既是客户端又是服务器。客户
分类：
其他好文 时间：
2019-04-20 09:25:13
阅读次数：
142
课程大纲（HDFS详解） Hadoop HDFS 分布式文件系统DFS简介 HDFS的系统组成介绍 HDFS的组成部分详解 副本存放策略及路由规则 命令行接口 Java接口 客户端与HDFS的数据流讲解 学习目标： 掌握hdfs的shell操作 掌握hdfs的java api操作 理解hdfs的工作 ...
分类：
其他好文 时间：
2019-04-11 16:05:57
阅读次数：
124
使用Webupload插件上传图片到FastDFS分布式文件系统。 前提条件：1.已安装FastDFS分布式文件系统 2.使用webuploader插件上传文件 3.maven工程已引入FastDFS依赖 图片上传及图片回显部分代码如下： ...
分类：
Web程序 时间：
2019-04-11 01:37:48
阅读次数：
236
文件系统分类Linux:ext2(CentOS5);ext3,ext4(CentOS6);xfs,btrfs(CentOS7)Linux虚拟文件系统:VFS(virtualfilesystem)Windows:fat32,NTFS网络文件系统：NFS,CIFS集群文件系统:GFS2,DCFS2分布式文件系统：ceph,moosefs,mogilefs根据其是否支持‘Journal‘
分类：
系统相关 时间：
2019-04-10 16:34:43
阅读次数：
188
linux基础 为hadoop集群的搭建扫清了障碍，也为内存的管理，文件系统的管理扫清了障碍 接着到Hadoop的阶段，首先做集群的安装，深入到使用这两个核心的组件，分布式文件系统HDFS，解决大量数据怎么存储的问题，第二个就是分布式计算MapReduce。MapReduce的包含Yarn和MapR ...
分类：
其他好文 时间：
2019-04-07 20:31:25
阅读次数：
128
1、hadoop 工作原理： a.首先 概括里面的角色（HDFS 、Mapreduce） b.讲解各个角色的整体架构 HDFS： 概念： 分布式文件系统，用于海量数据存储。 架构： master/slave 架构 ：1个Namenode和多个Ddatanode。 工作原理： Namenode：(项目 ...
分类：
其他好文 时间：
2019-04-05 21:32:15
阅读次数：
205
1、简介：FastDFS是用C语言编写的一款开源的分布式文件系统，FastDSF充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等特点，使用FastDFS可以很容易的搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 2、原理：FastDFS系统结构如下图所示： FastDF ...
分类：
其他好文 时间：
2019-04-05 00:23:41
阅读次数：
175
Hadoop是分布式文件系统 并行处理系统：高效存储和高效处理组件 Mapreduce，函数式编程机制，分Map阶段和reduce阶段，他不但是一个编程方式，同时也是个运行框架，它分两个阶段 Map阶段：抽取各个键值对生成键值对结果集（一般存在本地），这些键值对存储下来并进行排序 reduce阶段： ...
分类：
其他好文 时间：
2019-03-28 19:29:04
阅读次数：
182
基本原理 HDFS（Hadoop Distributed File System）是Hadoop的一个基础的分布式文件系统，这个分布式的概念主要体现在两个地方： 数据分块存储在多台主机 数据块采取冗余存储的方式提高数据的可用性 数据分块存储在多台主机 数据块采取冗余存储的方式提高数据的可用性 针对于 ...
分类：
其他好文 时间：
2019-03-28 00:09:31
阅读次数：
158
