下面开始hadoop的安装与配置；（1）安装jdk我安装的是JDK1.7.0_40，windows x64版的下载完之后，直接点击安装，我的安装路径为默认路径：C:\Program Files\Java\jdk1.7.0_40；安装完毕后，设置环境变量：JAVA_HOME指向JDk安装目录PATH指...
来自：http://doc.okbase.net/QING____/archive/19447.htmlkafka作为分布式日志收集或系统监控服务，我们有必要在合适的场合使用它。kafka的部署包括zookeeper环境/kafka环境，同时还需要进行一些配置操作.接下来介绍如何使用kafka. 我...
分类：
其他好文 时间：
2014-08-15 09:25:47
阅读次数：
455
hadoop的运行环境应该是在linux环境。如果想在windows环境下安装和运行hadoop，一般有两种方式：一种是VM的方式linux操作系统，这样可以实现全linux环境的hadoop运行；另一种方式安装cygwin模拟linux环境，该方法相对比较简单方便。本文采取cywin的方式。下面将...
一. keystone安装笔记初次接触openstack，在尝试过单机部署以后不是很满意，就开始着手分布式部署，主要是按照openstack官网上的安装教程来的，本人安装的是目前最新的 I 版。以下是我的环境，5台主机kk1,kk2,kk3,kk4,kk5. 接下来是我安装的部分服务的笔记，主要在安...
分类：
其他好文 时间：
2014-08-13 00:32:45
阅读次数：
414
hive0.13.1在hadoop2.4.1伪分布式部署上安装过程环境：redhat enterprice 6.5 +hadoop2.4.1+hive0.13.1+mysql单节点伪分布式部署相关网址：hive官网安装指导：https://cwiki.apache.org/confluence/di...
分类：
数据库 时间：
2014-08-09 21:21:09
阅读次数：
357
随着线上越来越多的系统依赖Zookeeper集群，以至于Zookeeper集群的运行状况越来越重要。但是目前还没有什么好用的Zookeeper集群监控系统（淘宝开源了一个Zookeeper监控系统，但是我觉得很不好用，里面主要有四个线程在跑，而且需要SSH登录到线上集群，这用起来很不方便。）于是我们开发了一套Zookeeper集群监控程序，可以监控Zookeeper集群。 从官方文档我们可以了解...
分类：
其他好文 时间：
2014-08-08 12:52:00
阅读次数：
247
今天安装了hbase想做下测试，结果发现在创建表时报错“can't get master address from zookeeper, zookeeper date = null”，大致是这样描述的，之后查看日志，发现hbase在启动zookeeper时确实报错了，查阅了网上的资料，说hbas.....
分类：
其他好文 时间：
2014-08-06 17:27:52
阅读次数：
218
前言: Thrift作为Facebook开源的RPC框架, 通过IDL中间语言, 并借助代码生成引擎生成各种主流语言的rpc框架服务端/客户端代码. 不过Thrift的实现, 简单使用离实际生产环境还是有一定距离, 本系列将对Thrift作代码解读和框架扩充, 使得它更加贴近生产环境. 本文讲述.....
分类：
其他好文 时间：
2014-08-05 18:33:29
阅读次数：
295
Zookeeper使用了一种称为Zab（ZookeeperAtomic Broadcast）的协议作为其一致性复制的核心，其特点为高吞吐量、低延迟、健壮、简单，但不过分要求其扩展性。
Zookeeper的实现是有Client、Server构成，Server端提供了一个一致性复制、存储服务，Client端会提供一些具体的语义，比如分布式锁、选举算法、分布式互斥等。从存储内容来说，Server端更多...
分类：
其他好文 时间：
2014-08-01 19:53:12
阅读次数：
309
分布式架构是中心化的设计，就是一个主控机连接多个处理节点,因此保证主控机高可用性十分关键.分布式锁是解决该问题的较好方案,多主控机抢一把锁.Zookeeper就是一套分布式锁管理系统,用于高可靠的维护元数据....
分类：
其他好文 时间：
2014-08-01 13:50:51
阅读次数：
230
