[toc] 一、部署Hadoop本地模式 1. 搭建linux环境 我用的centos7 2. 在/opt目录下创建目录 3. 安装jdk 4. 下载hadoop https://hadoop.apache.org/releases.html 并解压到/opt/module目录 5. 配置hadoo ...
分类：
其他好文 时间：
2020-05-24 23:42:50
阅读次数：
64
1、Hbase集群的高可用性与伸缩性 HBase可以实现对Regionserver的监控，当个别Regionserver不可访问时，将其负责的分区分给其他Regionsever，其转移过程较快，因为只需要将分区的相关信息转移。Hlog和表中数据实际存储在HDFS上，本身具有多副本机制容错。 Mast ...
分类：
其他好文 时间：
2020-05-23 20:00:09
阅读次数：
88
一、前言RowKey作为HBase的核心知识点，RowKey设计会影响到数据在HBase中的分布，还会影响我们查询效率，所以RowKey的设计质量决定了HBase的质量。是咱们大数据从业者必知必会的，自然也是面试必问的考察点。 那么rowkey到底是什么呢？原理是什么呢？怎么设计RowKey呢？使用 ...
分类：
其他好文 时间：
2020-05-22 21:32:21
阅读次数：
68
[toc] 一、Excel导入导出的应用场景 1、数据导入：减轻录入工作量 2、数据导出：统计信息归档 3、数据传输：异构系统之间数据传输 二、EasyExcel简介 EasyExcel特点 Java领域解析、生成Excel比较有名的框架有Apache poi、jxl等。但他们都存在一个严重的问题就 ...
分类：
其他好文 时间：
2020-05-22 21:04:05
阅读次数：
93
问题描述： 昨天晚上都下班了，突然领导发消息实时数据没有了，我去什么鬼，我记得我走的时候数据还是正常启动的，怎么就没数据那， 我们数据是通过flink 从kafka 消费数据，然后写入到hbase.怎么就没数据那什么情况。 然后我去yarn的资源管理器上面查看运行情况 发现，程序挂掉了，什么情况。好 ...
分类：
其他好文 时间：
2020-05-22 19:12:15
阅读次数：
88
导入数据 导入到 hdfs sqoop import \#--connect jdbc:mysql://hadoop102:3306/$db_name \--connect "jdbc:oracle:thin:@192.156.456.456:1521:SYNTONG" \--username "s ...
分类：
其他好文 时间：
2020-05-21 19:04:25
阅读次数：
40
前期准备：hadoop HA环境已搭建成功，zookeeper能正常运行。 安装流程： 1.解压tar zxvf hbase 1.2.6 bin.tar.gz （当前1.2. 版本最为稳定，1.3. 还在优化中） vi /etc/profile?环境变量 export?HBASE_HOME=/had ...
分类：
其他好文 时间：
2020-05-21 19:00:42
阅读次数：
50
hbase权威指南 第四版中文版pdf是一部专注于hbase开源数据库方面的电子书籍，这部电子书详细讲解了Hbase原理、基本概念、基本架构等内容，感兴趣的朋友欢迎来绿色资源网下载使用！ hbase权威指南 第四版中文版介绍 《HBase权威指南》探讨了与Hadoop的高度集成如何使HBase的可伸 ...
分类：
其他好文 时间：
2020-05-21 16:37:27
阅读次数：
113
《HBase实战》是一个完整手册，更是一本HBase项目实战指导，是作者多年使用HBase实践经验的升华。《HBase实战》更是最实用的HBase技术书，书中含有大量真实的应用和代码示例。 《HBase实战》是一本基于经验提炼而成的指南，它教给读者如何运用HBase设计、搭建及运行大数据应用系统。全 ...
分类：
其他好文 时间：
2020-05-21 16:28:09
阅读次数：
201
一、引言 HBase由于其存储和读写的高性能，在OLAP即时分析中越来越发挥重要的作用，在易观精细化运营产品 易观方舟也有广泛的应用。作为Nosql数据库的一员，HBase查询只能通过其Rowkey来查询(Rowkey用来表示唯一一行记录)，Rowkey设计的优劣直接影响读写性能。HBase中的数据 ...
分类：
其他好文 时间：
2020-05-19 10:33:51
阅读次数：
84
