1.hadoop是什么？hadoop是一个平台，是一个适合大数据的分布式存储和计算的平台。什么是分布式存储？这就是后边我们要讲的hadoop核心之一HDFS；什么是分布式计算？这是我们后边要讲的hadoop另外一个重要的核心MapReduce。2.分布式存储的使用示例（什么是分布式存储）？一台一台的...
分类：
其他好文 时间：
2015-06-04 19:19:50
阅读次数：
98
一、HBase简介
HBase（Hadoop Database）是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
HBase利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协调工具。二、HBASE基础知识表(table)，是...
分类：
其他好文 时间：
2015-05-27 12:17:17
阅读次数：
274
分布式存储系统MFSMFS文件系统主要应用是，提供一个高效，冗余的共享存储平台MFS的网络组成有三部分：masterserverchunkserver和client；其中masterserver只有一个，而chunkserver和client可以有多个。整个文件系统包含4种角色1.管理服务器masterserver有时也称为元数据服务器..
分类：
其他好文 时间：
2015-05-25 20:30:25
阅读次数：
197
数据库优化最主要的目标是减少IO，采用的方法为分布式存储，合理优化表结构设计缓存redis，用内存替代IO，适合对一致性要求不高的任务数据库优化大数据切分的核心：把一个数据库切分成多个放到不同的数据库（表）上，缓解数据库压力根据数据的特性，把一堆的数据进行切分，避免从硬盘频繁读无效的数据一个数据库有...
分类：
数据库 时间：
2015-05-18 18:10:34
阅读次数：
239
大数据定义是：大量的非结构话的数据。量要大，要非结构化。Hadoop分三部分组成，1.hdfshadoop分布式文件系统。2.MapReduce分布式计算。3.hive分布式存储。操作系统：centos6.564环境搭建：1.安装Hadoop，2.安装mysql，3.安装hive，4，安装jdkHadoop安装：下载Hadoop1.0.4，had..
分类：
其他好文 时间：
2015-05-17 23:48:02
阅读次数：
521
Matrix是国内业界第一个成功构建、并且大规模应用的基于轻量虚拟化技术的、可以实现机器共享的集群管理系统，是百度内部架构、业务平台的基石。类似的系统目前除了Google Borg/Omega外，在国内整个业界还没有成功案例。 目前Matrix已经托管了百度所有离线计算（包括代理计算）和分布式存储，以及搜索、广告系统、社区的大部分核心系统，目前规模超过30%的服务器。 在Matrix上已经实现了机器...
分类：
其他好文 时间：
2015-05-10 09:44:49
阅读次数：
154
今天很高兴为大家介绍最新的ECS存储服务：SSD云盘。 SSD云盘基于全SSD存储介质、利用阿里云飞天分布式存储技术，提供数据可靠性99.999%的高性能存储；该产品具备以下特点：l 高性能：单个SSD云盘最高提供10000随机读写IOPS、160MB/s吞吐量的存储性能；l 高可靠性：SSD云盘....
分类：
其他好文 时间：
2015-05-06 21:10:15
阅读次数：
225
原文地址：http://nosql-databases.org/
非关系数据库世界的终极向导
------------------------------------------------------------------------------------------------------------------
Nosql定义：下一代数据库大多专注于这几点：非关系型、分布式的、开源...
分类：
数据库 时间：
2015-05-05 10:47:03
阅读次数：
896
一、背景进入多核时代已经很久了，大数据概念也吵得沸沸扬扬，不管你喜欢不喜欢，不管你遇到没遇到，big-data或bigger-data都必须正视.处理大数据，基本都离不开分布式计算和分布式存储，这其中以hadoop最为使用广泛和经典。分布式系统，就离不开计算系统、网络系统、文件系统和数据库系统。这么多系统，之间又是如何协作的呢？
通讯过程又是如何保障高性能的呢？1.单处理器在以前的单核心cpu下，...
分类：
其他好文 时间：
2015-05-04 15:40:02
阅读次数：
262
一.背景进入多核时代已经很久了，大数据概念也吵得沸沸扬扬，不管你喜欢不喜欢，不管你遇到没遇到，big-data或bigger-data都必须正视.处理大数据，基本都离不开分布式计算和分布式存储，这其中以hadoop最为使用广泛和经典。分布式系统，就离不开计算系统、网络系统、文件系统和数据库系统。这么多系统，之间又是如何协作的呢？
通讯过程又是如何保障高性能的呢？单处理器在以前的单核心cpu下，我们...
分类：
其他好文 时间：
2015-05-04 08:45:16
阅读次数：
234
