hadoop是一种分布式系统的平台,通过它可以很轻松的搭建一个高效、高质量的分布系统,而且它还有许多其它的相关子项目,也就是对它的功能的极大扩充,包括Zookeeper,Hive,Hbase等。MapReduce是hadoop的核心组件之一,hadoop要分布式包括两部分,一是分布式文件系统hdfs,一部是..
分类:
其他好文 时间:
2014-08-17 01:11:02
阅读次数:
241
在druid集群环境中 broker节点的作用是查询。它知道metadata 通过zookeeper发送到了集群中的哪个节点,从而能够准确的查询到。broker也把各个节点的结果汇聚到一个节点中。On start up, Realtime nodes announce themselves and ...
分类:
其他好文 时间:
2014-08-17 01:00:31
阅读次数:
257
Historical 节点的作用是,load 历史数据提供查询。 运行类 io.druid.cli.Main server historical装载和保存Segments每个Historical 节点维护一个持续的连接到zookeeper。Historical 节点彼此之间不直接沟通,也不通过coo...
分类:
其他好文 时间:
2014-08-16 18:19:50
阅读次数:
208
首先从https://github.com/alibaba/dubbo/archive/master.zip下载最新的dubbo源码包到本地某个目录, 解压出来:cmd进入该目录:执行:mvn clean install –Dmaven.test.skip下载所需的jar包,这时也会下载本地存放仓库...
分类:
编程语言 时间:
2014-08-15 17:45:19
阅读次数:
441
来自:http://doc.okbase.net/QING____/archive/19447.htmlkafka作为分布式日志收集或系统监控服务,我们有必要在合适的场合使用它。kafka的部署包括zookeeper环境/kafka环境,同时还需要进行一些配置操作.接下来介绍如何使用kafka. 我...
分类:
其他好文 时间:
2014-08-15 09:25:47
阅读次数:
455
项目概况:一个war包,部署了到两个服务,一个是商家店铺装修服务,一个是用户浏览商家店铺服务。发布内容:1、依赖的第三方接口,由于性能问题,发布了新版dubbo接口。本方做了相应的修改; 2、修复原spring quartz定时任务基于数据库的单点控制代码bug;发布后线上表现:先发布装...
分类:
其他好文 时间:
2014-08-14 23:09:36
阅读次数:
374
随着线上越来越多的系统依赖Zookeeper集群,以至于Zookeeper集群的运行状况越来越重要。但是目前还没有什么好用的Zookeeper集群监控系统(淘宝开源了一个Zookeeper监控系统,但是我觉得很不好用,里面主要有四个线程在跑,而且需要SSH登录到线上集群,这用起来很不方便。)于是我们开发了一套Zookeeper集群监控程序,可以监控Zookeeper集群。 从官方文档我们可以了解...
分类:
其他好文 时间:
2014-08-08 12:52:00
阅读次数:
247
今天安装了hbase想做下测试,结果发现在创建表时报错“can't get master address from zookeeper, zookeeper date = null”,大致是这样描述的,之后查看日志,发现hbase在启动zookeeper时确实报错了,查阅了网上的资料,说hbas.....
分类:
其他好文 时间:
2014-08-06 17:27:52
阅读次数:
218
前言: Thrift作为Facebook开源的RPC框架, 通过IDL中间语言, 并借助代码生成引擎生成各种主流语言的rpc框架服务端/客户端代码. 不过Thrift的实现, 简单使用离实际生产环境还是有一定距离, 本系列将对Thrift作代码解读和框架扩充, 使得它更加贴近生产环境. 本文讲述.....
分类:
其他好文 时间:
2014-08-05 18:33:29
阅读次数:
295
Zookeeper使用了一种称为Zab(ZookeeperAtomic Broadcast)的协议作为其一致性复制的核心,其特点为高吞吐量、低延迟、健壮、简单,但不过分要求其扩展性。
Zookeeper的实现是有Client、Server构成,Server端提供了一个一致性复制、存储服务,Client端会提供一些具体的语义,比如分布式锁、选举算法、分布式互斥等。从存储内容来说,Server端更多...
分类:
其他好文 时间:
2014-08-01 19:53:12
阅读次数:
309