一.维度 1.数据模型 数据有多种存储的方式，包括键值对【类似Map】、半结构化的列式存储和文档结构存储。 2.存储模型 内存还是磁盘持久化可以和RDBMS进行比较，它们通常持久化存储数据到磁盘中。即使需要的是纯粹内存模式，也仍旧有其他方案。一旦考虑持久化存储，就需要考虑选择的方案是否影响到访问模式 ...
分类：
其他好文 时间：
2020-04-04 19:00:39
阅读次数：
69
学习了这么久hadoop，都没有搭过集群，是不合格的。这次搭建完，细扣具体的Job运行情况，日志信息，对Hadoop了解更深了。后面也要陆续搭建分布式flume,kafka,hbase,mysql来完成最终的离线批处理分析项目。 搭建步骤 1. 虚拟机环境准备(IP地址、主机名、新用户、防火墙、SS ...
分类：
其他好文 时间：
2020-04-04 15:00:32
阅读次数：
81
细节： org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the database Error connecting to database: (using ...
分类：
数据库 时间：
2020-04-04 00:01:05
阅读次数：
198
在Linux上面kettle-spoon启动问题 文件大小限制问题 修改此文件 /etc/security/limits.conf * soft nofile 327680 * hard nofile 327680 hdfs soft nproc 131072 hdfs hard nproc 131 ...
分类：
编程语言 时间：
2020-04-03 15:03:45
阅读次数：
81
hbase报错 ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing ...
分类：
Web程序 时间：
2020-04-02 17:59:54
阅读次数：
82
./bin/hdfs zkfc -formatZK 初始安装时初始化zk，在Zookeeper中创建了路径/hadoop-ha/hacluster ./bin/hdfs haadmin -getServiceState master1 查看主节点的状态，是active还是standby ./bin/ ...
分类：
其他好文 时间：
2020-04-01 19:33:47
阅读次数：
55
Hive + HBase，数据实时写Hbase,在Hive中用sql查询
分类：
其他好文 时间：
2020-04-01 14:37:17
阅读次数：
86
背景 背景说起来有点复杂，公司的项目旧平台已经弃用（相关人员都离职的七七八八），但是系统却还在运行（虽说是演示系统）。 在职人让找离职的，离职让找在职的，没办法，只好自己搞。 就平台跑在k8s集群上，其中一个服务作为大数据平台，数据存储在hbase数据库。 由于平台没有人运维，一直都有挂掉起不来的可 ...
分类：
数据库 时间：
2020-03-31 23:07:44
阅读次数：
104
一个系统上线之后，开发和调优将会一直伴随在系统的整个生命周期中，HBase也不例外。下面我们要学习如何进行HBase读写性能调优，以获取最大的读写效率。 HBase写入优化客户端优化批量写采用批量写，可以减少客户端到RegionServer之间的RPC的次数，提高写入性能。批量写请求要么全部成功返回 ...
分类：
其他好文 时间：
2020-03-31 21:02:47
阅读次数：
94
1.框架选型 hadoop 3.1.3 hive 3.1.2 zookeeper 3.5.7 hbase 2.2.3 kafka_2.11 2.4.0 spark 2.4.5 bin hadoop2.7 2.安装前准备 1.关闭防火墙 2.安装 JDK 3.安装 Scala 4.配置ssh 免密 5 ...
分类：
其他好文 时间：
2020-03-30 00:06:39
阅读次数：
66
