import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.mapreduce.TableInputFormat import org.apache.hadoop.hbase.util.Bytes ...
分类：
其他好文 时间：
2020-04-22 09:16:07
阅读次数：
55
hyperbase和hbase一样，底层数据结构的存储依托于hdfs；今天我们对星环的大数据平台组件hyperbase在hdfs上的存储做一下简单的介绍； TDH: 4.x系列 TDH4.9.2之后开始使用的版本是对应开源的1.3.1，之前版本对应的开源的0.98.6 5.x系列 TDH5.2.3之 ...
分类：
其他好文 时间：
2020-04-21 11:23:59
阅读次数：
139
hyperbase官方简介： Transwarp Hyperbase实时数据库是建立在Apache HBase和Elasticsearch基础之上，融合了多种索引技术、分布式事务处理、全文实时搜索、图形数据库在内的实时NoSQL数据库。 个人总结： hyperbase是基于开源hbase+hive的 ...
分类：
其他好文 时间：
2020-04-20 16:12:19
阅读次数：
280
一：自定义数据类 为什么需要自定义数据类 上一篇文章里面我们自己写了一个mapreduce 里面的Top N的https://www.cnblogs.com/wuxiaolong4/p/12733518.html，我们可以从代码里面看出来，里面用|作分隔符，这种方法不好，会由于你自己的失误导致读取字 ...
分类：
其他好文 时间：
2020-04-19 23:46:13
阅读次数：
104
1. 概述 1.1 hive的特征： 可以通过SQL轻松访问数据的工具，从而实现数据仓库任务，如提取/转换/加载（ETL），报告和数据分析； 它可以使已经存储的数据结构化； 可以直接访问存储在Apache HDFS或其他数据存储系统（如Apache HBase）中的文件； Hive除了支持MapRe ...
分类：
其他好文 时间：
2020-04-19 19:49:32
阅读次数：
86
1. Java Download the Java 1.8 64 bit version from https://java.com/en/download/ If not 64 bit java there will be error when start resource node manage ...
0x00 java环境配置 Hadoop需要java环境，首先检测是否存在java环境： java –version 如果没有，则需要去Oracle官网下载jdk： https://www.oracle.com/cn/java/technologies/javase-jdk8-downloads.h ...
分类：
系统相关 时间：
2020-04-19 13:00:02
阅读次数：
84
HBase的前提条件： JDK SSH Hadoop JDK:Hadoop和JDK运行的环境，他们的守护进程运行在JVM下。HBase支持JDK 1.6以上的版本。比如： jdk-8u161-linux-x64.rpm。 SSH:实现简单的服务器与主机的通信。在集群中，只有启动sshd后，才可以通过 ...
分类：
系统相关 时间：
2020-04-19 00:46:23
阅读次数：
101
安装前准备： 1.3台主机 2.安装jdk 3.免密登陆 开始安装spark 1.解压安装包 tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz 2.修改配置文件 cd conf cp spark-env.sh.template spark-env.shcp slaves ...
分类：
其他好文 时间：
2020-04-19 00:31:12
阅读次数：
85
安装前准备： 首先，要有一个HDFS集群，并正常运行； regionserver应该跟hdfs中的datanode在一起 其次，还需要一个zookeeper集群，并正常运行 然后，安装HBASE 开始安装hbase集群 1.解压安装包 tar -zvxf hbase-1.2.1-bin.tar.gz ...
分类：
其他好文 时间：
2020-04-18 18:35:01
阅读次数：
74
