Hbase简介
Hbase 全称是Hadoop DataBase ,是一种开源的,可伸缩的,高可靠,高性能,面向列的分布式存储系统。
类似于Google的BigTable,其分布式计算采用MapReduce,通过MapReduce完成大块数据加载和全表扫描操作。文件存储系统是HDFS,通过Zookeeper来完成状态管理协同服务。不过BigTable只支持一级索引,而Hbase支持一级和二级索...
分类:
其他好文 时间:
2014-06-08 18:24:32
阅读次数:
563
SolrCloud是一种分布式解决方案,是基于zookeeper和solr的,可以简单理解为一种集群,可以提供分布式查询,分布式写索引。
SolrCloud的结构大致是这样的,一个SolrCloud包括多个Shared节点,一个Shared的包括Solr节点,其中每个Shared中的有一个Leader Solr节点,多个Replica节点。
每个SOLR节点的内容是一样的。...
Hadoop是云计算的事实标准软件框架,是云计算理念、机制和商业化的具体实现,是整个云计算技术学习中公认的核心和最具有价值内容。如何从企业级开发实战的角度开始,在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。云计算学习者的心声:如何从企业级开发的角度,不断动手实际操作,循序...
分类:
其他好文 时间:
2014-06-05 14:25:48
阅读次数:
300
分布式框架:
Zookeeper与paxos算法一、zookeeper是什么官方说辞:Zookeeper 分布式服务框架是Apache Hadoop
的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。好抽象,我们...
分类:
其他好文 时间:
2014-05-26 16:37:39
阅读次数:
300
zookeeper+kafka集群安装之zookeeper集群...
分类:
其他好文 时间:
2014-05-26 04:42:01
阅读次数:
190
zookeeper+kafka集群安装之二此为上一篇文章的续篇, kafka安装需要依赖zookeeper, 本文与上一篇文章都是真正分布式安装配置, 可以直接用于生产环境.zookeeper安装参考:http://blog.csdn.net/ubuntu64fan/article/details/26678877首先了解几个kafka中的概念:kafka是一个消息队列服务器,服务称为broker...
分类:
其他好文 时间:
2014-05-24 20:48:48
阅读次数:
269
主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase,
Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie,
Cassandra, Hama, Whirr,...
分类:
其他好文 时间:
2014-05-21 05:55:45
阅读次数:
280
背景
(#)
随着互联网的发展,网站应用的规模不断扩大,常规的垂直应用架构已无法应对,分布式服务架构以及流动计算架构势在必行,亟需一个治理系统确保架构有条不紊的演进。
单一应用架构
当网站流量很小时,只需一个应用,将所有功能都部署在一起,以减少部署节点和成本。此时,用于简化增删改查工作量的 数据访问框架(ORM) 是关键。
垂直应用架构
当访问量逐渐增大,单...
分类:
其他好文 时间:
2014-05-20 13:57:09
阅读次数:
388
前言1.
创建表:(由master完成)首先需要获取master地址(master启动时会将地址告诉zookeeper)因而客户端首先会访问zookeeper获取master的地址client和master通信,然后有master来创建表(包括表的列簇,是否cache,设置存储的最大版本数,是否压缩...
分类:
编程语言 时间:
2014-05-19 14:23:43
阅读次数:
392
zookeeper,一个很灵活的分布式架构,其中包含一个watch机制,检测节点值的变化,然而watch机制有些需要注意的地方:watch事件延迟。...
分类:
其他好文 时间:
2014-05-18 18:23:41
阅读次数:
321