环境： Centos x86_64? 0.205 和 0.206 都为tracker 和 storage 192.168.0.205? storage tracker 192.168.0.206 storage tracker 0.205 和 0.206 安装配置类似， 下面以一台为例 1, 安装依赖包，添加fastDFS运行...
分类：
其他好文 时间：
2015-06-14 07:06:33
阅读次数：
480
←使用iftop监控linux网络流量分布式文件系统FastDFS原理介绍→centos6.5下搭建fastdfs分布式存储2014-04-24VenusFastDFSGo to commentfastDFS下载地址：http://code.google.com/p/fastdfs/download...
分类：
其他好文 时间：
2015-06-13 12:33:36
阅读次数：
343
1、hbase对数据的管理机制 ????1.1、hbase中的表很大---bigtable，都是分布式存储在集群的各个regionserver上 ????1.2、分布式存储时，需要对表进行切分，首先是按行切分成若干个hregion ????1.3、表...
分类：
其他好文 时间：
2015-06-11 17:16:44
阅读次数：
97
Sheepdog，是由NTT的3名日本研究员开发的开源项目，主要用来为虚拟机提供块设备。其架构例如以下：以下，我们将从架构、模块等几个方面来介绍下：一、架构图如上图：採用无中心节点的全对称架构，无单点故障，存储容量和性能可线性扩展；新增节点通过简单配置可自己主动增加（IP:PORT），数据自己主动实...
分类：
其他好文 时间：
2015-06-04 22:41:01
阅读次数：
135
1.hadoop是什么？hadoop是一个平台，是一个适合大数据的分布式存储和计算的平台。什么是分布式存储？这就是后边我们要讲的hadoop核心之一HDFS；什么是分布式计算？这是我们后边要讲的hadoop另外一个重要的核心MapReduce。2.分布式存储的使用示例（什么是分布式存储）？一台一台的...
分类：
其他好文 时间：
2015-06-04 19:19:50
阅读次数：
98
一、HBase简介
HBase（Hadoop Database）是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
HBase利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协调工具。二、HBASE基础知识表(table)，是...
分类：
其他好文 时间：
2015-05-27 12:17:17
阅读次数：
274
分布式存储系统MFSMFS文件系统主要应用是，提供一个高效，冗余的共享存储平台MFS的网络组成有三部分：masterserverchunkserver和client；其中masterserver只有一个，而chunkserver和client可以有多个。整个文件系统包含4种角色1.管理服务器masterserver有时也称为元数据服务器..
分类：
其他好文 时间：
2015-05-25 20:30:25
阅读次数：
197
数据库优化最主要的目标是减少IO，采用的方法为分布式存储，合理优化表结构设计缓存redis，用内存替代IO，适合对一致性要求不高的任务数据库优化大数据切分的核心：把一个数据库切分成多个放到不同的数据库（表）上，缓解数据库压力根据数据的特性，把一堆的数据进行切分，避免从硬盘频繁读无效的数据一个数据库有...
分类：
数据库 时间：
2015-05-18 18:10:34
阅读次数：
239
大数据定义是：大量的非结构话的数据。量要大，要非结构化。Hadoop分三部分组成，1.hdfshadoop分布式文件系统。2.MapReduce分布式计算。3.hive分布式存储。操作系统：centos6.564环境搭建：1.安装Hadoop，2.安装mysql，3.安装hive，4，安装jdkHadoop安装：下载Hadoop1.0.4，had..
分类：
其他好文 时间：
2015-05-17 23:48:02
阅读次数：
521
Matrix是国内业界第一个成功构建、并且大规模应用的基于轻量虚拟化技术的、可以实现机器共享的集群管理系统，是百度内部架构、业务平台的基石。类似的系统目前除了Google Borg/Omega外，在国内整个业界还没有成功案例。 目前Matrix已经托管了百度所有离线计算（包括代理计算）和分布式存储，以及搜索、广告系统、社区的大部分核心系统，目前规模超过30%的服务器。 在Matrix上已经实现了机器...
分类：
其他好文 时间：
2015-05-10 09:44:49
阅读次数：
154
