已有环境:1. Ubuntu:14.04.22.jdk: 1.8.0_453.hadoop:2.6.04.hBase:1.0.0详细过程:1.下载最新的Hbase,这里我下载的是hbase-1.0.0版本,然后打开终端,输入: tar zxvf hbase-1.0.0.tar.gz解压,然后将hba...
分类:
数据库 时间:
2015-04-22 00:06:27
阅读次数:
223
http://www.cnblogs.com/linjiqin/archive/2013/03/08/2949339.htmlHBase 为用户提供了一个非常方便的使用方式, 我们称之为“HBase Shell”。HBase Shell 提供了大多数的 HBase 命令, 通过 HBase Shel...
分类:
其他好文 时间:
2015-04-21 22:08:11
阅读次数:
187
1.rowkey以某个内容开头
Filter filtet = new PrefixFilter("ooo".getBytes());
2.rowkey字符串包含方式
Filter filter = new RowFilter(CompareOp.EQUAL,new SubstringComparator("xxx"));
3.rowkey匹配正则方式
F...
分类:
其他好文 时间:
2015-04-21 18:13:35
阅读次数:
687
本篇博文中谈及的Hadoop和HBase都是单机版,简单了解。首先在Ubuntu上搭建Hadoop开发环境,主要参考另外一篇博客,仔细照做并解决出现的问题即可。地址:http://www.powerxing.com/install-hadoop-2-4-1-single-node/这篇文章的思路很清...
分类:
系统相关 时间:
2015-04-21 17:22:45
阅读次数:
157
写了一个java程序,需要向hbase中写入大量的数据,但是这个程序执行一半就报错,问题是,此时已经写入了很多数据。查看jps,发现hmaster进程崩溃了。基于以上信息,发现是在程序中,链接hbase后没有释放链接。导致链接达到hbase上限。添加close(),解决问题。
分类:
其他好文 时间:
2015-04-21 00:09:50
阅读次数:
171
详细步骤
一 、简介
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
Hive与HBase的整合功能的实现是利用两者本身...
分类:
其他好文 时间:
2015-04-20 17:04:29
阅读次数:
198
环境
系统:Ubuntu 14.04
hadoop版本:2.6.0
hbase版本:1.0
jdk版本:1.8
下载地址:Apache上慢慢找吧~~
jdk的环境配置这里就不列出来了,首先讲一下hadoop配置吧。
hadoop安装
1.安装位置:/opt
2.创建hadoop用户组
sudo addgroup hadoop
3.创建hadoop用户
sudo addu...
分类:
其他好文 时间:
2015-04-20 00:38:25
阅读次数:
199
1.HBase(NoSQL)的数据模型1.1 表(table),是存储管理数据的。1.2 行键(row key),类似于MySQL中的主键。 行键是HBase表天然自带的。1.3 列族(column family),列的集合。 HBase中列族是需要在定义表时指定的,列是在插入记录时动态增加的。 H...
分类:
其他好文 时间:
2015-04-20 00:33:21
阅读次数:
170
SQOOP是用于对数据进行导入导出的。(1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中 (2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中1.把数据从mysql导入到hdfs(默认是/user/)中 sqoop import ...
分类:
其他好文 时间:
2015-04-20 00:33:20
阅读次数:
139
在安装好hbase之后,运行一个与hadoop无关的纯hbase程序成功了。接着写一个hadoop与hbase进行交互的小程序,这个程序的运行方法依然与前文相同,即导出jar文件在shell下运行。但是却报错找不到类。经过在网上的一番搜索,发现是因为hadoop中缺少了与hbase相关的jar文件。...
分类:
其他好文 时间:
2015-04-18 15:52:17
阅读次数:
118