HBase分布式集群环境搭建成功后，连续4、5天实验客户端Map/Reduce程序开发，这方面的代码网上多得是，写个测试代码非常容易，可是真正运行起来可说是历经挫折。下面就是我最终调通并让程序在集群上运行起来的一些经验教训。 一、首先说一下我的环境： 1，集群的环境配置请见这篇博文。 2，...
分类：
其他好文 时间：
2014-08-21 16:26:54
阅读次数：
366
Centralized Cache Management inHDFS
Overview
HDFS中的集中式缓存管理是一个显式的管理缓存的机制，它允许用户指定被HDFS缓存的路径。NameNode将与磁盘上有所需的Block的DataNode通信，命令其在堆外缓存里缓存Block。
HDFS中的集中式缓存管理有许多重要的优势。
1. 明确地防止频繁使用的数据被赶出内存。当工作集的...
分类：
其他好文 时间：
2014-08-21 15:07:24
阅读次数：
346
使用导出导入进行OCR的备份和恢复：
在对集群做调整前，如：增删节点等操作前，应该对OCR进行一次备份，可以使用export备份到指定文件。
实验环境：
OS：OEL5.6
RAC：10.2.0.1.0
(1)关闭所有节点的CRS
节点1：
[root@rac1 crsd]# crsctl stop crs
Stopping resources.
Successfully sto...
分类：
数据库 时间：
2014-08-21 13:23:54
阅读次数：
318
1.??? 配置 ?? Broker主要配置 ? 参数 默认值 说明(解释) broker.id =0 每一个broker在集群中的唯一表示，要求是正数。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况 ...
分类：
其他好文 时间：
2014-08-21 11:45:34
阅读次数：
389
hadoop是基于java的数据计算平台，引入第三方库，例如C语言实现的开发包将会大大增强数据分析的效率和能力。 通常在是用一些工具的时候都要用到一些配置文件、资源文件等。接下来，借一个例子来说明hadoop上面如何使用JNI、以及调用资源文件。首先介绍一下ICTClass，ICTClass是中国科...
分类：
其他好文 时间：
2014-08-21 11:07:13
阅读次数：
265
本系列文章只是记录了笔者本人在学习实验安装和使用基于CDH5.0.2的HBASE集群过程中的一些经验教训和心得，绝不是详细的安装过程，因本人不过一初学者，很多方面不甚了了，如果能让不幸读到的人有所得则不胜欣喜，否则大家一笑置之即可。通过tarball形式安装HBASE Cluster（CDH5......
分类：
其他好文 时间：
2014-08-21 09:41:03
阅读次数：
187
一：简介：Docker是一个开源的引擎，可以轻松的为任何应用创建一个轻量级的、可移植的、自给自足的容器。开发者在笔记本上编译测试通过的容器可以批量地在生产环境中部署，包括VMs（虚拟机）、baremetal、OpenStack集群和其他的基础应用平台。二：Docker应用场景：1.web应用的..
分类：
其他好文 时间：
2014-08-20 16:37:23
阅读次数：
273
下面我们进行说明一下hadoop集群的搭建配置.本文假设读者具有hadoop单机配置的基础，相同的部分不在重述。以三台测试机为例搭建一个小集群,三台机器的ip分别为192.168.200.1;192.168.200.2;192.168.200.3cygwin,jdk的安装同windows下hadoo...
之前使用 renamedg 对 ora.CRS.dg 进行重命名ora.DUPCRS.dg
但是 renamedg 有个缺点就是无法将修改的信息同步到整个集群层面，而且修改前的dg 会依然保留在集群层面：
如下所示：因此需要手动去清除，和重新注册修改后的dg 信息。
rename
需求： ora.CRS.dg...
分类：
其他好文 时间：
2014-08-19 19:03:05
阅读次数：
441
