官网介绍 什么是Spark 官网地址：http://spark.apache.org/ Apache Spark? 是用于大规模数据处理的统一分析引擎。 从右侧最后一条新闻看，Spark也用于AI人工智能。 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用 ...
分类：
其他好文 时间：
2020-01-26 19:08:26
阅读次数：
75
上到研究生，搞的是分布式文件系统和缓存系统研究方向，学习的过程中发现数学基础几乎忘光了，越来越发现数学的重要性；亡羊补牢，及时进行补充，重新回忆起来，也希望能有新的收获！本文中，主要是记录我在复习高等数学一些积累和概念索引，主要是对个人有用，如果对您有帮助的话，希望能点击推荐！ 1. 函数与极限 邻 ...
分类：
其他好文 时间：
2020-01-17 20:46:19
阅读次数：
75
FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制， 充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 FastDFS 架构包括 Tracker ...
分类：
其他好文 时间：
2020-01-17 13:22:22
阅读次数：
86
HDFS产出背景及定义 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDF ...
分类：
其他好文 时间：
2020-01-15 21:18:15
阅读次数：
85
运维工作分类： 监控运维(7*24运维值班、故障处理) 安全运维(整体的安全方案、规范、漏洞检测、分析、安全防护等) ssh IDS/IPS 应用运维(项目上线、业务部署、版本管理、灰度发布) git/svn 系统运维(架构层面的分布式缓存、分布式文件系统、日志手机、环境规划 (测试、开发、生产)、 ...
分类：
其他好文 时间：
2020-01-11 23:51:39
阅读次数：
135
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的... ...
分类：
其他好文 时间：
2020-01-09 00:58:47
阅读次数：
95
MFS概述MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。优势1、高可靠（数据的多个拷贝被存储在不同的计算机上）2、通过附加新的计算机或者硬盘可以实现容量的动态扩展3、删除的文件可以根据一个可配置的时间周期进行保留（一个文件系统级别的回收站）4、不受访问和写入影响的文件连贯快照缺点master服务器不能解决单点故障MFS的构
分类：
其他好文 时间：
2020-01-07 10:22:34
阅读次数：
101
GlusterFS概述GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，并提供容错功能。它可以给大量的用户提供总体性能较高的服务。开源的分布式文件系统；由存储服务器、客户端以及NFS/Samba存储网关组成；GlusterFS特点：扩展性和高性能；高可用性；全局统一命名空间；弹性卷管理；基于标准协议模块化堆栈架构模块化，堆栈式的结构通过对
分类：
其他好文 时间：
2020-01-07 00:53:42
阅读次数：
95
分布式文件系统分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源并不直接与本地节点相连，而是分布于计算网络中的一个或者多个节点的计算机上。目前意义上的分布式文件系统大多都是由多个节点计算机构成，结构上是典型的客户机/服务器模式。流行的模式是当客户机需要存储 ...
分类：
其他好文 时间：
2020-01-06 23:09:34
阅读次数：
106
写流程： 正常： 1.HDFS客户端调用分布式文件系统的create方法远程过程调用namenode的create方法 namenode内完成几项判断 返回客户端 2.调用FSDataOutputStream的write方法 同时该流告诉Namenode addblock 返回列表 然后开始写 3. ...
分类：
其他好文 时间：
2020-01-06 14:42:27
阅读次数：
67
