本次博客主要记录HBASE的eclipse api编程访问，与shell方式操作HBASE数据库不同，用java代码形式运行可以封装打包运行，不过需要进行一些配置。 首先启动Hadoop和HBASE（因为之前设置好了虚拟机所以可以在Windows上使用eclipse，只需要启动就可以）。 然后新建个 ...
分类：
其他好文 时间：
2019-08-21 00:04:36
阅读次数：
84
Ambari简介 Ambari概述 Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的创建、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等； ...
分类：
其他好文 时间：
2019-08-20 10:40:13
阅读次数：
119
/** * 获得相等过滤器。相当于SQL的 [字段] = [值] * @param cf 列族名 * @param col 列名 * @param val 值 * @return 过滤器 */ public static Filter eqFilter(String cf, String col, ... ...
分类：
其他好文 时间：
2019-08-20 10:39:26
阅读次数：
55
为什么要有HBase？ Hadoop生态圈中有了Hive，Hive可以像关系型数据库那样操作数据，那么为什么还要有HBase？ 首先HBase是一个非关系型数据库，是用于存储数据的，Hive是用于处理数据的。 Hive操作数据时虽然可以像关系型数据库那样操作，但Hive只是一个操作工具，而非一个针对 ...
分类：
其他好文 时间：
2019-08-20 01:19:17
阅读次数：
62
为什么要有Sqoop？ 将数据从别的数据库导到Hadoop、Hbase或Hive太麻烦了。 什么是Sqoop？ Sqoop就是Hadoop、Hive、HBase等数据仓库与数据库之间传输数据的工具。，就是将导入(输入)和导出(输出)的命令映射成MR程序。 导入：MySQL等数据库数据导入到HDFS、 ...
分类：
其他好文 时间：
2019-08-20 01:07:48
阅读次数：
88
1. 首先创建一个支持多版本的hbase表 create 'dsi2018s03:testVersion',{NAME => 'f1', VERSIONS => 2} 2.put几条测试数据 put 'dsi2018s03:testVersion','10001','f1:name','jack1' ...
分类：
其他好文 时间：
2019-08-18 12:07:37
阅读次数：
269
业务上可能会遇到这种情况，在最初创建hbase表时候，未指定压缩方式，当数据导入之后，由rowkey带来的数据膨胀导致hdfs上的数据大小远远大于原始数据大小。所以这时候可能就不得不考虑使用压缩，但是如果将表删除，再创建一张指定压缩的表，再重新导入数据未免太浪费时间。当然也完全不用这样，可以直接修改 ...
分类：
其他好文 时间：
2019-08-18 11:39:27
阅读次数：
133
kettle的系列教程 kettle--window开发环境和linux运行环境的迁移 kettle的输入输出组件和脚本组件 kettle--变量的使用 kettle的资源库 kettle的job kettle的hello world 出处：http://www.cnblogs.com/dongdo ...
分类：
其他好文 时间：
2019-08-18 09:49:31
阅读次数：
109
Kettle基本使用
Kettle资源库
Kettle运行方式 ...
分类：
其他好文 时间：
2019-08-18 09:32:15
阅读次数：
105
