HBase 安装分为:单击模式,伪分布式,完全分布式,在单机模式中,HBase使用本地文件系统而不是HDFS ,所有的服务和zooKeeper都运作在一个JVM中。本文是安装的伪分布式。安装步骤如下 1 环境配置 2 安装说明1 环境配置 1.1 Java JDK 安装,下载JDK,配置环境变...
分类:
系统相关 时间:
2014-11-14 13:49:25
阅读次数:
300
互联网的发展,网站应用的规模不断扩大,常规的垂直应用架构已无法应对,分布式服务架构以及流动计算架构势在必行,Dubbo是一个分布式服务框架,在这种情况下诞生的。现在核心业务抽取出来,作为独立的服务,使前端应用能更快速和稳定的响应。...
分类:
编程语言 时间:
2014-11-14 09:20:56
阅读次数:
422
很多使用Zookeeper的情景是需要我们嵌入Zookeeper作为自己的分布式应用系统的一部分来提供分布式服务,此时我们需要通过程序的方式来启动Zookeeper。此时可以通过Zookeeper API的ZooKeeperServerMain类来启动Zookeeper服务。 下面是一个集群模式下启动Zookeeper服务的例子 这里假定我们运行Zookeeper集群的三台机器名分别为fanbin...
分类:
其他好文 时间:
2014-11-14 08:09:04
阅读次数:
142
在zookeeper-3.3.6使用分布式安装:单机版分布式安装这时需要配置的是conf目录下的zoo.cfg文件:配置文件内容(这里模拟了5个节点,其中三个节点为participant,而另外两个为observer):# The number of milliseconds of each tic...
分类:
其他好文 时间:
2014-11-13 23:57:55
阅读次数:
504
zookeeper是针对大型分布式系统的高可靠的协调系统。由此,我们可
知,zookeeper是个协调系统,它的作用对象是分布式系统。那么,为什么分
布式系统需要一个协调系统呢?原因如下:
开发分布式系统是件灰常困难复杂的事情,其中的困难主要体现在分布式
系统的“部分失败”。“部分失败”是指信息在网络的两个节点之间传送的时
...
分类:
其他好文 时间:
2014-11-13 22:34:10
阅读次数:
342
最近一直在忙WebPageTest(以下简称wpt)开源库的修改工作,其中一项工作需要将zookeeper(以下简称zk)集成到wpt里。zk作为分布式系统的同步工具,实现了写的原子性(要么失败,要么成功,并不存在写一半的情况),并通过“选举组长“和”重选组长“,在负载均衡的同时保证数据一致性。关于zk服务端的设计,可以参考官网http://zookeeper.apache.org/。
...
分类:
其他好文 时间:
2014-11-13 12:58:48
阅读次数:
294
在配置dubbo服务的过程中,经常会遇到虽然程序能够跑起来,但是配置文件一堆红叉,虽然不影响功能,但是确实很让人恶心。 报错信息如下: Multiple?annotations?found?at?this?line: -?cvc-complex-type.2....
分类:
其他好文 时间:
2014-11-12 12:05:14
阅读次数:
243
1. 试用thrift python/java以及hbase client api,结论如下:
1.1 thrift的安装和发布繁琐,可能会遇到未知的错误,且hbase.thrift的版本在变化中。优点代码简单,需要打包的内容少。
1.2 hbase client api,需要的jar很多,发布版的容量也很大,打包后近百兆。优点是,明确,无歧义。
2....
分类:
编程语言 时间:
2014-11-12 11:47:03
阅读次数:
287
hadoop是有apache基金会所开发的分布式系统基础架构,其主要提供了两方面的功能:分布式存储和分布式计算。其中分布式存储是分布式计算的基础,在hadoop的实现里面,提供了分布式存储的接口,并自己实现了一个分布式存储的实现即HDFS,但并不代表hadoop只支持HDFS这一中实现,其同时支持别的存储系统,并在别的存储系统上运行分布式计算程序(mapreduce)。 从开发角度来说,h...
分类:
其他好文 时间:
2014-11-11 09:22:37
阅读次数:
239