一.维度 1.数据模型 数据有多种存储的方式，包括键值对【类似Map】、半结构化的列式存储和文档结构存储。 2.存储模型 内存还是磁盘持久化可以和RDBMS进行比较，它们通常持久化存储数据到磁盘中。即使需要的是纯粹内存模式，也仍旧有其他方案。一旦考虑持久化存储，就需要考虑选择的方案是否影响到访问模式 ...
分类：
其他好文 时间：
2020-04-04 19:00:39
阅读次数：
69
学习了这么久hadoop，都没有搭过集群，是不合格的。这次搭建完，细扣具体的Job运行情况，日志信息，对Hadoop了解更深了。后面也要陆续搭建分布式flume,kafka,hbase,mysql来完成最终的离线批处理分析项目。 搭建步骤 1. 虚拟机环境准备(IP地址、主机名、新用户、防火墙、SS ...
分类：
其他好文 时间：
2020-04-04 15:00:32
阅读次数：
81
hbase报错 ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing ...
分类：
Web程序 时间：
2020-04-02 17:59:54
阅读次数：
82
./bin/hdfs zkfc -formatZK 初始安装时初始化zk，在Zookeeper中创建了路径/hadoop-ha/hacluster ./bin/hdfs haadmin -getServiceState master1 查看主节点的状态，是active还是standby ./bin/ ...
分类：
其他好文 时间：
2020-04-01 19:33:47
阅读次数：
55
Hive + HBase，数据实时写Hbase,在Hive中用sql查询
分类：
其他好文 时间：
2020-04-01 14:37:17
阅读次数：
86
背景 背景说起来有点复杂，公司的项目旧平台已经弃用（相关人员都离职的七七八八），但是系统却还在运行（虽说是演示系统）。 在职人让找离职的，离职让找在职的，没办法，只好自己搞。 就平台跑在k8s集群上，其中一个服务作为大数据平台，数据存储在hbase数据库。 由于平台没有人运维，一直都有挂掉起不来的可 ...
分类：
数据库 时间：
2020-03-31 23:07:44
阅读次数：
104
一个系统上线之后，开发和调优将会一直伴随在系统的整个生命周期中，HBase也不例外。下面我们要学习如何进行HBase读写性能调优，以获取最大的读写效率。 HBase写入优化客户端优化批量写采用批量写，可以减少客户端到RegionServer之间的RPC的次数，提高写入性能。批量写请求要么全部成功返回 ...
分类：
其他好文 时间：
2020-03-31 21:02:47
阅读次数：
94
1.框架选型 hadoop 3.1.3 hive 3.1.2 zookeeper 3.5.7 hbase 2.2.3 kafka_2.11 2.4.0 spark 2.4.5 bin hadoop2.7 2.安装前准备 1.关闭防火墙 2.安装 JDK 3.安装 Scala 4.配置ssh 免密 5 ...
分类：
其他好文 时间：
2020-03-30 00:06:39
阅读次数：
66
本文参考 关于环境搭建，imooc上关于hadoop、hbase、spark等课程上有很多环境搭建的例子，但是有些并没有说明为什么选择这个的版本，我们知道这些开源的技术发展很快，所以有必要搞清楚如何对它们进行版本选择 环境 spark 2.2.0 + scala 2.11.8 + hbase1.3.... ...
分类：
其他好文 时间：
2020-03-28 13:35:54
阅读次数：
84
有个需求是纬度表需要秒出数据,首先表刚好也是1-1批对的情况,首先想到了利用hbase的索引机制。（表数据大概在4--30E之间） 虽然网上有很多直接建立hive表,自动创建hbase表的例子,但是这种情况不能进行hbase表的region预分区,导致热点问题比较严重。所以hive和hbase表要分 ...
分类：
其他好文 时间：
2020-03-26 13:56:37
阅读次数：
103
