hbase调优 一.表的设计 1.设置预分区表 原因:前期region读写都集中到一个regionserver上,直到文件足够大时,才进行分区,这样会降低性能. 解决方案:建表是设置预分区,这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡。 public static ...
分类：
其他好文 时间：
2019-12-30 14:28:10
阅读次数：
76
logstash 执行过程 input -->filter -->output filter 可以对数据进行处理 输出插件 codec plugin 使用脚本将数据导入到ES 使用 logstash 执行 logstash -f mysqltoes.conf 使用别名查询索引 创建一个索引别名，过滤 ...
分类：
其他好文 时间：
2019-12-29 12:45:45
阅读次数：
177
下载Hadoop安装包 下载Hadoop安装包 登录 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 镜像站，找到我们要安装的版本，点击进去复制下载链接 安装Hadoop时要注意版本与后续安装的HBase、Spark等相关组件的兼 ...
分类：
其他好文 时间：
2019-12-28 23:14:30
阅读次数：
162
1. 下载安装包 1. 下载安装包 登录官网获取HBase安装包下载地址 https://hbase.apache.org/downloads.html 2. 执行命令下载并安装 cd /usr/local/src/ wget http://mirrors.tuna.tsinghua.edu.cn/ ...
分类：
其他好文 时间：
2019-12-28 22:46:27
阅读次数：
86
zookeeper将管理一批''动物''，如小象hadoop，小鲸鱼hbase等，先记录下安装完全分布式zookeeper，以备后用。 解压zookeeper压缩包 [root@hadoop01 /home/software]# tar -zxvf zookeeper-3.4.8.tar.gz 修改 ...
分类：
其他好文 时间：
2019-12-28 22:34:08
阅读次数：
107
出现此问题可能是zookeeper不稳定造成的，采用的是虚拟机，经常挂起的状态，使用hbase的list命令出现下面错误，这个可能是hbase的稳定性造成的，解决办法有两种。这里使用第一种办法就解决了。 解决方法：1.重启hbasestop-hbase.sh、然后start-hbase.sh或者，要 ...
分类：
其他好文 时间：
2019-12-28 20:50:56
阅读次数：
86
HMaster和HRegionServer是Hbase的两个子进程，但是使用jps发现没有启动起来，所以去我们配置的logs查看错误信息。提示：Could not start ZK at requested port of 2181. ZK was started at port: 2182. Ab ...
分类：
其他好文 时间：
2019-12-28 20:45:17
阅读次数：
99
连接Phoenix出现异常SYSTEM.CATALOG。 进入/bin/ hbase zkcli ，或者进入zk的客户端：[hadoop@hadoop001 zookeeper-3.4.5-cdh5.7.0]$ cd bin[hadoop@hadoop001 bin]$ ./zkCli.sh 如果有 ...
分类：
其他好文 时间：
2019-12-28 20:43:09
阅读次数：
330
一、HBase的RK设计 HBase读写数据大多数是通过RK，MemStore/HFile存储也是按照字典顺序排列的RK存储，所以要关注RK。 RowKey设计原则： 1）长度原则： RowKey不应该超过16字节，因为若是过长再以KV形式存储，对于HFile和MemStore来说会极大的占用存储空 ...
分类：
其他好文 时间：
2019-12-28 20:38:27
阅读次数：
91
sqoop简介 sqoop是一款开源的工具，主要用于在hadoop和与传统的数据库之间进行的数据的传递，可以将一个关系型数据库中的数据导入到hadoop的hdfs中，也可以将hdfs的数据导入到关系型数据库中。sqoop的命名由来就是 ，它的原理就是将导入或者导出命令翻译成MapReduce来实现， ...
分类：
数据库 时间：
2019-12-28 16:30:57
阅读次数：
131
