环境介绍 | tuge1 | tuge2 | tuge3 | tuge4 | | | : | | | | NameNode | NameNode | DataNode | DataNode | | ZooKeeper | ZooKeeper | ZooKeeper | ZooKeeper | | | ...
分类:
其他好文 时间:
2019-11-18 18:31:53
阅读次数:
80
大数据从入门到入土 语言基础:java(Java se,javaweb) Linux 基础:Linux(shell,高并发架构,lucene,solr) 框架学习:Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume) ...
分类:
其他好文 时间:
2019-11-16 21:47:53
阅读次数:
107
zookeeper简介 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 使用案例 dubbo、d ...
分类:
其他好文 时间:
2019-11-16 17:19:04
阅读次数:
52
Hbase是一个分布式的、面向列的开源数据库,可实时的读写、随机访问超大规模的数据集。 Hbase主要分为两种模型: 逻辑模型和物理模型 1. 逻辑模型 Hbase的名字的来源是Hadoop database,即为Hadoop数据库,从用户的角度来考虑,就是如何使用Hbase。 2. 物理模型 主要 ...
分类:
其他好文 时间:
2019-11-16 10:52:28
阅读次数:
70
Hbase2.0查询优化 1)设置scan缓存 HBase中Scan查询可以设置缓存,方法是setCaching(),这样可以有效的减少服务端与客户端的交互,更有效的提升扫描查询的性能。 2)显示的指定列 当使用Scan或者GET获取大量的行时,最好指定所需要的列,因为服务端通过网络传输到客户端,数 ...
分类:
其他好文 时间:
2019-11-15 15:46:24
阅读次数:
65
1 下载pinpoint git clone https://github.com/naver/pinpoint.git git switch 1.8.5 2 安装hbase:见上篇随笔 3 导入hbase初始数据 [root@zkslave2 bin]# ./hbase shell /tmp/in ...
分类:
其他好文 时间:
2019-11-14 23:45:23
阅读次数:
129
2017年开始阿里HBase走向公有云,我们有计划的在逐步将阿里内部的高可用技术提供给外部客户,目前已经上线了同城主备,将作为我们后续高可用能力发展的一个基础平台。本文分四个部分回顾阿里HBase在高可用方面的发展:大集群、MTTF&MTTR、容灾、极致体验,希望能给大家带来一些共鸣和思考。 大集群 ...
分类:
其他好文 时间:
2019-11-13 14:37:35
阅读次数:
72
创业之初,我们往往会为了快速迭代出产品,而选择最简单的技术架构,比如LAMP架构,SSH三层架构。这些架构可以适应初期业务的快速发展,但是,随着业务变得越来越复杂,我们会发现这些架构越来越难支撑业务的发展,出现在一个类中写好几千行代码,一个方法中到处都是if else语句,如果中间遇到主程序猿离职,后面介入的程序猿几乎无法理解这些代码,到最后,产品越来越难迭代,只能推翻重做。如果我们在创业初始就以一种适应性较强的架构去写代码,后面就会少走很多弯路。下面的文章是我自己总结出来的一套架构,经过实践,适应性还算不错。
分类:
其他好文 时间:
2019-11-10 10:28:17
阅读次数:
78
kafka bin/kafka-server-start.sh config/server.properties & Hbase bin/hbase-daemon.sh start master bin/hbase-daemon.sh start regionserver Hbase 默认端口 16 ...
分类:
其他好文 时间:
2019-11-09 13:47:12
阅读次数:
75
目录 目录 1 1. 前言 3 2. 缩略语 3 3. 安装规划 3 3.1. 用户规划 3 3.2. 目录规划 4 4. 相关端口 4 5. 下载安装包 4 6. 修改配置文件 5 6.1. 修改策略 5 6.2. 修改conf/regionservers 5 6.3. 修改conf/hbase- ...
分类:
其他好文 时间:
2019-11-09 11:51:05
阅读次数:
123