import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.mapreduce.TableInputFormat import org.apache.hadoop.hbase.util.Bytes ...
分类:
其他好文 时间:
2020-04-22 09:16:07
阅读次数:
55
hyperbase和hbase一样,底层数据结构的存储依托于hdfs;今天我们对星环的大数据平台组件hyperbase在hdfs上的存储做一下简单的介绍; TDH: 4.x系列 TDH4.9.2之后开始使用的版本是对应开源的1.3.1,之前版本对应的开源的0.98.6 5.x系列 TDH5.2.3之 ...
分类:
其他好文 时间:
2020-04-21 11:23:59
阅读次数:
139
hyperbase官方简介: Transwarp Hyperbase实时数据库是建立在Apache HBase和Elasticsearch基础之上,融合了多种索引技术、分布式事务处理、全文实时搜索、图形数据库在内的实时NoSQL数据库。 个人总结: hyperbase是基于开源hbase+hive的 ...
分类:
其他好文 时间:
2020-04-20 16:12:19
阅读次数:
280
服务发现 为什么要使用服务发现 设想下,我们写了一些通过REST API或者Thrift API调用某个服务的代码,为了发起这个请求,代码需要知道服务实例的网络地址(IP 地址和端口号)。在传统运行在物理机器上的应用中,某个服务实例的网络地址一般是静态的,比如,代码可以从只会偶尔更新的配置文件中读取 ...
分类:
其他好文 时间:
2020-04-20 01:25:29
阅读次数:
162
1. 概述 1.1 hive的特征: 可以通过SQL轻松访问数据的工具,从而实现数据仓库任务,如提取/转换/加载(ETL),报告和数据分析; 它可以使已经存储的数据结构化; 可以直接访问存储在Apache HDFS或其他数据存储系统(如Apache HBase)中的文件; Hive除了支持MapRe ...
分类:
其他好文 时间:
2020-04-19 19:49:32
阅读次数:
86
HBase的前提条件: JDK SSH Hadoop JDK:Hadoop和JDK运行的环境,他们的守护进程运行在JVM下。HBase支持JDK 1.6以上的版本。比如: jdk-8u161-linux-x64.rpm。 SSH:实现简单的服务器与主机的通信。在集群中,只有启动sshd后,才可以通过 ...
分类:
系统相关 时间:
2020-04-19 00:46:23
阅读次数:
101
安装前准备: 首先,要有一个HDFS集群,并正常运行; regionserver应该跟hdfs中的datanode在一起 其次,还需要一个zookeeper集群,并正常运行 然后,安装HBASE 开始安装hbase集群 1.解压安装包 tar -zvxf hbase-1.2.1-bin.tar.gz ...
分类:
其他好文 时间:
2020-04-18 18:35:01
阅读次数:
74
前言: 说起HBase这门技术,在认知上对于稍微接触或使用过它的人来讲,可能只是百千数据库中一个很普通的库,大概就像我对Redis的认知一样:缓存嘛!可对于HBase,我确实是带着某些感情在的。今日突然萌生了一个生趣的想法,想抛开技术的视角,从情感的角度,像写小说一样,写写这位老朋友,这可能会有点滑 ...
分类:
数据库 时间:
2020-04-18 09:46:13
阅读次数:
79
准备工作 需要先安装好Zookeeper集群和Hadoop集群 Zookeeper集群启动 Hadoop集群启动 HBase集群搭建 HBase解压 配置文件 hbase env.sh hbase site.xml regionservers 将hadoop的hdfs site.xml和core s ...
分类:
其他好文 时间:
2020-04-16 19:33:00
阅读次数:
61
为什么要阅读Redis源码? 主要原因就是『简洁』。如果你用源码编译过Redis,你会发现十分轻快,一步到位。其他语言的开发者可能不会了解这种痛,作为C/C++程序员,如果你源码编译安装过Nginx/Grpc/Thrift/Boost等开源产品,你会发现有很多依赖,而依赖本身又有依赖,十分痛苦。通常 ...
分类:
其他好文 时间:
2020-04-16 15:36:31
阅读次数:
67