Zookeeper连接后验证节点是否存在 初学Zookeeper，在配置完集群之后，为了验证集群对于某台机器挂掉之后的影响，出现了一下问题。 集群由3台机器组成，通过“sh bin/zkServer.sh stop”关闭了其中一台（ip1）。 然后在以下代码中测试： // 创...
分类：
其他好文 时间：
2014-08-22 12:34:16
阅读次数：
546
HDFS Rolling Upgrade
Introduction
HDFS 滚动升级允许单独升级每一个HDFS进程。例如，DataNode可以独立于NameNode升级。一个NameNode可以独立于其他的NameNode升级。NameNode可以独立于DataNode和JournalNode升级。
Upgrade
在Hadoop V2中，HDFS支持NameNode服务的HA和前后兼容...
分类：
其他好文 时间：
2014-08-22 10:51:26
阅读次数：
172
集群中3个节点，第一个started，第二个说Starting zookeeper ... already running as process xxxx,第三个说Starting zookeeper ... already running as process yyyy。原来是相应目录下残留的pi...
分类：
其他好文 时间：
2014-08-22 10:45:25
阅读次数：
1111
HBase和Solr可以通过协处理器Coprocessor的方式向Solr发出请求，Solr对于接收到的数据可以做相关的同步：增、删、改索引的操作，这样就可以同时使用HBase存储量大和Solr检索性能高的优点了，更何况HBase和Solr都可以集群。这对海量数据存储、检索提供了一种方式，将存储与索...
分类：
其他好文 时间：
2014-08-21 21:05:04
阅读次数：
295
LVS负载均衡集群通过内核ipvs模块实现，而ipvs只是内核的一个框架本身并不能实现loadbanlancing功能，要通过ipvsadm这个用户空间的工具编写规则来实现，类似于netfilter/iptables的关系。yuminstall-yipvsadm安装ipvsadm命令基本用法服务操作：-A--add-service添加一个服务-E--..
分类：
其他好文 时间：
2014-08-21 19:36:15
阅读次数：
333
最近好不容易抽空研究了下Cobar，感觉这个产品确实很不错（在文档方面比Amoeba强多了），特此推荐给大家。Cobar是阿里巴巴研发的关系型数据的分布式处理系统，该产品成功替代了原先基于Oracle的数据存储方案，目前...
分类：
数据库 时间：
2014-08-21 17:25:24
阅读次数：
332
转自：Jahe's BlogNginx开源软件默认没有提供TCP协议的负载均衡，下面记录一下我的安装过程：1. 下载nginx最新稳定版的源码。可访问：http://www.nginx.org或linux命令下载到本地：Bash代码wgethttp://www.nginx.org/download/...
分类：
其他好文 时间：
2014-08-21 16:46:44
阅读次数：
205
TDW 是腾讯最大的离线数据处理平台。本文主要从需求、挑战、方案和未来计划等方面，介绍了TDW在建设单个大规模集群中采取的 JobTracker 分散化和 NameNode 高可用两个优化方案。TDW（Tencent distributed Data Warehouse，腾讯分布式数据仓库）基于开源...
分类：
其他好文 时间：
2014-08-21 16:39:04
阅读次数：
252
HBase分布式集群环境搭建成功后，连续4、5天实验客户端Map/Reduce程序开发，这方面的代码网上多得是，写个测试代码非常容易，可是真正运行起来可说是历经挫折。下面就是我最终调通并让程序在集群上运行起来的一些经验教训。 一、首先说一下我的环境： 1，集群的环境配置请见这篇博文。 2，...
分类：
其他好文 时间：
2014-08-21 16:26:54
阅读次数：
366
Centralized Cache Management inHDFS
Overview
HDFS中的集中式缓存管理是一个显式的管理缓存的机制，它允许用户指定被HDFS缓存的路径。NameNode将与磁盘上有所需的Block的DataNode通信，命令其在堆外缓存里缓存Block。
HDFS中的集中式缓存管理有许多重要的优势。
1. 明确地防止频繁使用的数据被赶出内存。当工作集的...
分类：
其他好文 时间：
2014-08-21 15:07:24
阅读次数：
346
