一.部署准备1.1 java安装(略)1.2 JDK配置 1.命令行键入“cd /etc”进入etc目录2.命令行键入“vi profile”打开profile文件3.敲击键盘ctrl+F到文件末尾4.在末尾处,即第一个~的地方,敲击键盘将以下内容输入到文件exportJAVA_HOME=/us.....
分类:
系统相关 时间:
2015-05-14 20:28:04
阅读次数:
484
1. Kettle
1.1.
简介
Kettle是一款国外开源的etl工具,纯java编写,数据抽取高效稳定(数据迁移工具)。Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。
2. 集成开发
2.1.
transf...
分类:
其他好文 时间:
2015-05-14 18:46:24
阅读次数:
177
HBase Shell经常用到的命令,入门必知必会呀...
分类:
系统相关 时间:
2015-05-14 16:32:48
阅读次数:
176
一》文件资源库配置1. 建立文件资源库:点击工具->资源库->连接资源库菜单使用文件资源库不需要用户名和密码,如果没有资源库可以点击右上角的"+"新建资源库,如下图:第一种方式为建立数据库的资源库,本例选择使用文件资源库,选择确定后会要求选择文件资源库的路径,并给文件资源库设置一个ID和名称2. 创...
分类:
数据库 时间:
2015-05-14 13:39:09
阅读次数:
442
下面说说JAVAAPI提供的这些类的功能和他们之间有什么样的联系。1.HBaseConfiguration关系:org.apache.hadoop.hbase.HBaseConfiguration作用:通过此类可以对HBase进行配置用法实例:Configurationconfig=HBaseConfiguration.create();说明:HBaseConfiguration.create()默认会..
本文结合MemStoreFlusher分析了MemStore刷写的触发机制及内部实现...
分类:
编程语言 时间:
2015-05-13 16:49:37
阅读次数:
175
Apache HBase 是Hadoop database的简称,hbase 是一个分布式,可扩展的,面向大数据存储的数据库。?? ????HBase 基本概念 ? ? ? ?1、region? ? ? ? ?region 是部分数据,所以是所有数据的一...
分类:
其他好文 时间:
2015-05-13 13:16:41
阅读次数:
273
HBase 系统架构图 组成部件说明? Client:? 使用HBase RPC机制与HMaster和HRegionServer进行通信? Client与HMaster进行通信进行管理类操作? Client与HRegionServer进行数据读写类操...
分类:
其他好文 时间:
2015-05-12 21:10:23
阅读次数:
122
packagecom.kettle.test;importorg.pentaho.di.core.KettleEnvironment;importorg.pentaho.di.core.exception.KettleException;importorg.pentaho.di.core.util.EnvUtil;importorg.pentaho.di.trans.Trans;importorg.pentaho.di.trans.TransMeta;publicclassTransUtils{//调用..
分类:
编程语言 时间:
2015-05-12 01:49:09
阅读次数:
471
Hbase RegionServer详解
Hbase RegionServer详解
RegionServer
MemStoreFlusher
HeapMemoryManager
CompactSplitThread
ZooKeeperWatcher
MasterAddressTracker
ClusterStatusTracker
SplitLogWorker
Region...
分类:
其他好文 时间:
2015-05-12 00:13:15
阅读次数:
191