IT知识架构客户冰箱+牛奶+模具=（结果）（雪糕）牛奶：数据存储：磁盘（共享）1.SAN,NAS,DAS（专门将数据存储于磁盘阵列）2.分布式存储架构（HDFS）---------集群（应用）Hadoop分布式文件系统冰箱：系统：Linux只有Linux系统可以承载大数据应用模具：1.map-reduces数据处理集群，它是将海量数据按照一定的方式，修改为键值关系HDFS+map-reduces=
分类：
其他好文 时间：
2019-07-31 11:22:38
阅读次数：
119
FastDFS+Nginx组合优点 使用FastDFS部署一个分布式文件系统的时候，通过FastDFS的客户端API来进行文件的上传、下载、删除等操作，同时通过FastDFS的HTTP服务器来提供HTTP服务。但是FastDFS的HTTP服务较为简单，无法提供负载均衡等高性能的服务，所以FastDF ...
分类：
其他好文 时间：
2019-07-28 17:30:38
阅读次数：
92
1.绪论 最近要用到fastDFS，所以自己研究了一下，在搭建FastDFS的过程中遇到过很多的问题，为了能帮忙到以后搭建FastDFS的同学，少走弯路，与大家分享一下。FastDFS的作者淘宝资深架构余庆，这个优秀的轻量及的分布式文件系统的开源没多久，立马就火了。由于篇幅较大，本博文共四篇，第一篇 ...
分类：
其他好文 时间：
2019-07-28 15:55:03
阅读次数：
96
1.CentOS7 FastDFS搭建 前面已下载好了要用到的工具集，下面就可以开始安装了： 如果安装过程中出现问题，可以下载我提供的，当前测试可以通过的工具包： 点这里点这里 1.1 安装libfastcommon 安装成功后解压libfastcommon-master.zip 当我们./make ...
分类：
其他好文 时间：
2019-07-28 15:52:54
阅读次数：
91
阿里云关系型数据库（Relational Database Service，简称RDS）是一种稳定可靠、可弹性伸缩的在线数据库服务。基于阿里云分布式文件系统和SSD盘高性能存储，RDS支持MySQL、SQL Server、PostgreSQL、PPAS（Postgre Plus Advanced S ...
分类：
数据库 时间：
2019-07-24 19:32:11
阅读次数：
187
hdfs：分布式文件系统 有目录结构，顶层目录是： /,存的是文件，把文件存入hdfs后，会把这个文件进行切块并且进行备份，切块大小和备份的数量有客户决定。 存文件的叫datanode，记录文件的切块信息的叫namenode Hdfs的安装 准备四台linux服务器 先在hdp-01上进行下面操作 ...
分类：
其他好文 时间：
2019-07-23 13:33:30
阅读次数：
98
作者|大尊hdfs是hadoop的分布式文件系统，即HadoopDistributedFilesystem。下面主要讲下HDFS设计中的比较重要的点，使读者能通过简短的文章一窥HDFS的全貌，适合对HDFS有一点了解，但是对HDFS又感到困惑的初学者。本文主要参考的是hadoop3.0的官方文档。链接：http://hadoop.apache.org/docs/current/hadoop-pro
分类：
其他好文 时间：
2019-07-23 10:03:46
阅读次数：
159
博文大纲：（一）GlusterFS相关概念。（二）GlusterFS各种卷类型的部署及客户端挂载使用。（三）GlusterFS维护命令。（一）GlusterFS相关概念：GlusterFS是一个开源的分布式文件系统，同时也是Scale-Out存储解决方案Gluster的核心，在存储数据方面有强大的横向扩展能力。GlusterFS主要由存储服务器、客户端及NFS/Samba存储网关（可选组件）组成。
分类：
其他好文 时间：
2019-07-20 23:38:09
阅读次数：
131
1、本地模式：默认模式 - 不对配置文件进行修改。 - 使用本地文件系统，而不是分布式文件系统。 - Hadoop不会启动NameNode、DataNode、ResourceManager、NodeManager等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行的。 - 用于 ...
分类：
其他好文 时间：
2019-07-19 14:03:28
阅读次数：
142
一般情况下windows网络共享与samba用户局域网网络共享.互联网中小型网站集群架构后端常用NFS进行数据共享.大型网站会用到更复杂的Moosefs(mfs)(小文件)GlusterFS(大文件)FastDFS(小文件).自行学习三个主服务rpc.nfsrpcbindrpc服务端1.yuminstall-ynfs-utils自动创建nfs-nobody2.开启rpcbind开启nfs加入开机启
分类：
其他好文 时间：
2019-07-17 11:05:18
阅读次数：
130
