2017年开始阿里HBase走向公有云，我们有计划的在逐步将阿里内部的高可用技术提供给外部客户，目前已经上线了同城主备，将作为我们后续高可用能力发展的一个基础平台。本文分四个部分回顾阿里HBase在高可用方面的发展：大集群、MTTF&MTTR、容灾、极致体验，希望能给大家带来一些共鸣和思考。 大集群 ...
分类：
其他好文 时间：
2019-11-13 14:37:35
阅读次数：
72
创业之初，我们往往会为了快速迭代出产品，而选择最简单的技术架构，比如LAMP架构，SSH三层架构。这些架构可以适应初期业务的快速发展，但是，随着业务变得越来越复杂，我们会发现这些架构越来越难支撑业务的发展，出现在一个类中写好几千行代码，一个方法中到处都是if else语句，如果中间遇到主程序猿离职，后面介入的程序猿几乎无法理解这些代码，到最后，产品越来越难迭代，只能推翻重做。如果我们在创业初始就以一种适应性较强的架构去写代码，后面就会少走很多弯路。下面的文章是我自己总结出来的一套架构，经过实践，适应性还算不错。
分类：
其他好文 时间：
2019-11-10 10:28:17
阅读次数：
78
kafka bin/kafka-server-start.sh config/server.properties & Hbase bin/hbase-daemon.sh start master bin/hbase-daemon.sh start regionserver Hbase 默认端口 16 ...
分类：
其他好文 时间：
2019-11-09 13:47:12
阅读次数：
75
目录 目录 1 1. 前言 3 2. 缩略语 3 3. 安装规划 3 3.1. 用户规划 3 3.2. 目录规划 4 4. 相关端口 4 5. 下载安装包 4 6. 修改配置文件 5 6.1. 修改策略 5 6.2. 修改conf/regionservers 5 6.3. 修改conf/hbase- ...
分类：
其他好文 时间：
2019-11-09 11:51:05
阅读次数：
123
1、本文章主要写的是关于HFile里面键值对的剖析 先来看看HFile的存储格式 HFile的文件是不定长的，长度固定的只有两块，就是Traifer和File info。 Data块的是由Magic和键值对组成，Magic主要是生成一些随机数来防止数据的损坏，其他的就是键值对。 上面我们大概的讲了一 ...
分类：
其他好文 时间：
2019-11-07 15:04:49
阅读次数：
121
这里主要讲hbase调优相关内容一、Hmaster高可用在HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。首先在$HBASE_HOME/conf下创建一个backup-masters名称的文件
分类：
其他好文 时间：
2019-11-05 09:35:20
阅读次数：
76
hbase数据热点问题：一个region上访问数据量过多，解决方案是对热点数据的rowkey进行预处理，添加一些前缀东西，将热点数据分散到多个region中。预合并？动态分区？就是一开始初始数据的时候，就要对数据进行分区，存储到不同的region上，负载均衡例子：比如按电话号码开头分区，容易将电话号码都分到一个区中。后面可以按电话号码的逆序作为rowkey，这样就比较随机了。ctrL+backsp
分类：
其他好文 时间：
2019-11-05 09:26:31
阅读次数：
110
问题（1）zookeeper如何实现分布式锁？（2）zookeeper分布式锁有哪些优点？（3）zookeeper分布式锁有哪些缺点？简介zooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它可以为分布式应用提供一致性的服务，它是Hadoop和Hbase的重要组件，同时也可以作为配置中心、注册中心运用在微服务体系中。本章我们将介绍zookeeper如何实现分布式锁运用在分布式系统中。
分类：
编程语言 时间：
2019-11-05 09:25:48
阅读次数：
92
一、Phoenix概述1、简介可以把Phoenix理解为Hbase的查询引擎，phoenix，由saleforce.com开源的一个项目，后又捐给了Apache。它相当于一个Java中间件，帮助开发者，像使用jdbc访问关系型数据库一些，访问NoSql数据库HBase。phoenix，操作的表及数据，存储在hbase上。phoenix只是需要和Hbase进行表关联起来。然后再用工具进行一些读或写操
分类：
数据库 时间：
2019-11-05 09:17:08
阅读次数：
95
GaussDB200支持将存在远端服务器上的TEXT、CSV和FIXED格式的数据导入到集群中。本文介绍使用GDS（GaussDataService）工具将远端服务器上的数据导入GaussDB200。环境如下表:1、准备源数据这里从PostgreSQL数据库中，使用copy命令导出一个csv格式的文件，如下：rhnschema=>copyrhnpackagefileto‘/tmp/rhnpa
分类：
数据库 时间：
2019-11-04 15:39:58
阅读次数：
401
