首先我们来认识一下HDFS， HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件，为了降低文件丢失造成的错误，它会为每个小文件复制多个副本（默认为三 ...
分类：
其他好文 时间：
2019-08-13 00:53:23
阅读次数：
203
hadoop(一HDFS) 介绍 狭义上来说: hadoop指的是以下的三大系统: HDFS ：分布式文件系统(高吞吐,没有延时要求,容错性,扩展能力)MapReduce : 分布式计算系统Yarn：分布式样集群资源管理 但是hadoop可不止这三个系统 广义上来说: hadoop指的是大数据的一个 ...
分类：
其他好文 时间：
2019-08-13 00:44:13
阅读次数：
88
一、Ceph简介： Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph 的统一体现在可以提供文件系统、块存储和对象存储，分布式体现在可以动态扩展。在国内一些公司的云环境中，通常会采用 ceph 作为openstack 的唯一后端存储来提高数据转发效率。 Ceph项目 ...
分类：
其他好文 时间：
2019-08-11 21:19:12
阅读次数：
105
hadoop集群安装模式 1）单机模式 直接解压，无需任何配置。主要用于测试代码。没有分布式文件系统。 2）伪分布式 完全分布式的一种形式，只是所有的进程都配置要一个节点上。有分布式文件系统，只不过是这个文件系统只有一个节点。 3）完全分布式 包含主节点和从节点，主节点namenode只有一个（一般 ...
分类：
其他好文 时间：
2019-08-01 09:43:21
阅读次数：
117
IT知识架构客户冰箱+牛奶+模具=（结果）（雪糕）牛奶：数据存储：磁盘（共享）1.SAN,NAS,DAS（专门将数据存储于磁盘阵列）2.分布式存储架构（HDFS）---------集群（应用）Hadoop分布式文件系统冰箱：系统：Linux只有Linux系统可以承载大数据应用模具：1.map-reduces数据处理集群，它是将海量数据按照一定的方式，修改为键值关系HDFS+map-reduces=
分类：
其他好文 时间：
2019-07-31 11:22:38
阅读次数：
119
FastDFS+Nginx组合优点 使用FastDFS部署一个分布式文件系统的时候，通过FastDFS的客户端API来进行文件的上传、下载、删除等操作，同时通过FastDFS的HTTP服务器来提供HTTP服务。但是FastDFS的HTTP服务较为简单，无法提供负载均衡等高性能的服务，所以FastDF ...
分类：
其他好文 时间：
2019-07-28 17:30:38
阅读次数：
92
1.绪论 最近要用到fastDFS，所以自己研究了一下，在搭建FastDFS的过程中遇到过很多的问题，为了能帮忙到以后搭建FastDFS的同学，少走弯路，与大家分享一下。FastDFS的作者淘宝资深架构余庆，这个优秀的轻量及的分布式文件系统的开源没多久，立马就火了。由于篇幅较大，本博文共四篇，第一篇 ...
分类：
其他好文 时间：
2019-07-28 15:55:03
阅读次数：
96
1.CentOS7 FastDFS搭建 前面已下载好了要用到的工具集，下面就可以开始安装了： 如果安装过程中出现问题，可以下载我提供的，当前测试可以通过的工具包： 点这里点这里 1.1 安装libfastcommon 安装成功后解压libfastcommon-master.zip 当我们./make ...
分类：
其他好文 时间：
2019-07-28 15:52:54
阅读次数：
91
阿里云关系型数据库（Relational Database Service，简称RDS）是一种稳定可靠、可弹性伸缩的在线数据库服务。基于阿里云分布式文件系统和SSD盘高性能存储，RDS支持MySQL、SQL Server、PostgreSQL、PPAS（Postgre Plus Advanced S ...
分类：
数据库 时间：
2019-07-24 19:32:11
阅读次数：
187
hdfs：分布式文件系统 有目录结构，顶层目录是： /,存的是文件，把文件存入hdfs后，会把这个文件进行切块并且进行备份，切块大小和备份的数量有客户决定。 存文件的叫datanode，记录文件的切块信息的叫namenode Hdfs的安装 准备四台linux服务器 先在hdp-01上进行下面操作 ...
分类：
其他好文 时间：
2019-07-23 13:33:30
阅读次数：
98
