转：https://blog.csdn.net/qx12306/article/details/67014096 Sqoop是一款开源的工具，主要用于在Hadoop相关存储（HDFS、Hive、HBase）与传统关系数据库（MySql、Oracle等）间进行数据传递工作。Sqoop最早是作为Hado ...
分类：
数据库 时间：
2019-12-31 17:07:17
阅读次数：
126
一 整体介绍 1.1 硬件环境 本文使用三台服务器搭建hadoop集群，使用Centos7.5系统，服务器均有独立ip 1.2 部署的软件 部署服务：namenode（HA）,resourcemanager（HA）,zookeeper，hbase（HA）,spark,kafka,geomesa 版本 ...
分类：
其他好文 时间：
2019-12-31 14:12:21
阅读次数：
94
概述传统的关系型数据库（RDBMS）如 MySQL，Oracle 因其存储引擎和事务的高一致性特性很难在高并发的情况下实现高吞吐和可扩展，因而产生了很多的NoSQL 数据库如 Redis,MongoDB,Hbase等，图形化数据库(GDBMS) Neo4j因其是把数据以图的形式存储在网络而不是磁盘， ...
分类：
数据库 时间：
2019-12-31 12:53:09
阅读次数：
120
hbase调优 一.表的设计 1.设置预分区表 原因:前期region读写都集中到一个regionserver上,直到文件足够大时,才进行分区,这样会降低性能. 解决方案:建表是设置预分区,这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡。 public static ...
分类：
其他好文 时间：
2019-12-30 14:28:10
阅读次数：
76
下载Hadoop安装包 下载Hadoop安装包 登录 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 镜像站，找到我们要安装的版本，点击进去复制下载链接 安装Hadoop时要注意版本与后续安装的HBase、Spark等相关组件的兼 ...
分类：
其他好文 时间：
2019-12-28 23:14:30
阅读次数：
162
1. 下载安装包 1. 下载安装包 登录官网获取HBase安装包下载地址 https://hbase.apache.org/downloads.html 2. 执行命令下载并安装 cd /usr/local/src/ wget http://mirrors.tuna.tsinghua.edu.cn/ ...
分类：
其他好文 时间：
2019-12-28 22:46:27
阅读次数：
86
zookeeper将管理一批''动物''，如小象hadoop，小鲸鱼hbase等，先记录下安装完全分布式zookeeper，以备后用。 解压zookeeper压缩包 [root@hadoop01 /home/software]# tar -zxvf zookeeper-3.4.8.tar.gz 修改 ...
分类：
其他好文 时间：
2019-12-28 22:34:08
阅读次数：
107
出现此问题可能是zookeeper不稳定造成的，采用的是虚拟机，经常挂起的状态，使用hbase的list命令出现下面错误，这个可能是hbase的稳定性造成的，解决办法有两种。这里使用第一种办法就解决了。 解决方法：1.重启hbasestop-hbase.sh、然后start-hbase.sh或者，要 ...
分类：
其他好文 时间：
2019-12-28 20:50:56
阅读次数：
86
HMaster和HRegionServer是Hbase的两个子进程，但是使用jps发现没有启动起来，所以去我们配置的logs查看错误信息。提示：Could not start ZK at requested port of 2181. ZK was started at port: 2182. Ab ...
分类：
其他好文 时间：
2019-12-28 20:45:17
阅读次数：
99
连接Phoenix出现异常SYSTEM.CATALOG。 进入/bin/ hbase zkcli ，或者进入zk的客户端：[hadoop@hadoop001 zookeeper-3.4.5-cdh5.7.0]$ cd bin[hadoop@hadoop001 bin]$ ./zkCli.sh 如果有 ...
分类：
其他好文 时间：
2019-12-28 20:43:09
阅读次数：
330
