简介与环境准备 hadoop的核心是分布式文件系统HDFS以及批处理计算MapReduce。近年，随着大数据、云计算、物联网的兴起，也极大的吸引了我的兴趣，看了网上很多文章，感觉还是云里雾里，很多不必要的配置都在入门教程出现。通过思考总结与相关教程，我想通过简单的方式传递给同样想入门hadoop的同 ...
分类：
系统相关 时间：
2017-05-06 15:05:41
阅读次数：
358
MFS分布式存储的运行方式MFS工作原理MooseFS是一款具有冗余容错功能的分布式文件系统。它把数据分散在多台服务器上，确保一份数据多个备份副本，对外提供统一的结构。功能特性对于标准的文件操作，MooseFS表现与其他类Unix文件系统一致。支持的通过文件系统特性：·层次结构（..
分类：
其他好文 时间：
2017-05-05 23:03:03
阅读次数：
389
1.Google文件系统（GFS） 使用一堆便宜的商用计算机支撑大规模数据处理。 GFSClient： 应用程序的訪问接口 Master（主控server）：管理节点。在逻辑上仅仅有一个（另一台“影子server“，在主控server失效时提供元数据，但并非完整的热备server），保存系统的元数据 ...
分类：
其他好文 时间：
2017-05-02 18:18:48
阅读次数：
275
Hadoop的核心是HDFS和MapReduce，而两者只是理论基础，不是具体可使用的高级应用，Hadoop旗下有很多经典子项目，比如HBase、Hive等，这些都是基于HDFS和MapReduce发展出来的。Hadoop Distributed File System，简称HDFS，是一个分布式文 ...
分类：
其他好文 时间：
2017-05-02 10:00:44
阅读次数：
146
一、部署环境：（CentOS6.9）trackerserver：10.10.1.105storageserver：10.10.1.10610.10.1.107client：10.10.1.105二、FastDFS:开源的轻量级分布式文件系统；三个角色：trackerserver:跟踪服务器，调度，在内存中记录所有存储组和存储服务器的状态信息；tracker.confstorages..
分类：
其他好文 时间：
2017-05-01 21:04:02
阅读次数：
159
从本篇文章开始介绍一款现在非常火的分布式文件系统Ceph，包括这款文件系统的安装、基本使用场景、常用管理命令和重要工作原理。特别是讨论了PaxOS算法的基本理后，就更容易理解Ceph分布式文件系统中各...
分类：
其他好文 时间：
2017-04-29 19:56:50
阅读次数：
386
平台简介Jeesz是一个分布式的框架，提供项目模块化、服务化、热插拔的思想，高度封装安全性的JavaEE快速开发平台。Jeesz本身集成Dubbo服务管控、Zookeeper注册中心、Redis分布式缓存技术、FastDFS分布式文件系统、ActiveMQ异步消息中间件、Nginx负载均衡等分布式技术使用Maven..
分类：
编程语言 时间：
2017-04-28 16:09:12
阅读次数：
315
Hadoop1、是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。2、Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错 ...
分类：
其他好文 时间：
2017-04-26 19:18:24
阅读次数：
161
