持久化 redis将所有数据保持在内存中，对数据的更新将异步地保存在磁盘中 快照 MySQL Dump ，Redis RDB 日志 MySQL Binlog Hbase HLog Redis AOF RDB的触发方式 save同步在save的同时，其他命令会阻塞等待如果存在老的RDB文件，会先创建一 ...
分类：
其他好文 时间：
2019-08-17 23:59:27
阅读次数：
176
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的目标就是封装好复杂易出错的关 ...
分类：
其他好文 时间：
2019-08-15 14:27:18
阅读次数：
69
sqoop数据迁移 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库 工作机制 将导入或导出 ...
分类：
其他好文 时间：
2019-08-15 09:20:19
阅读次数：
76
【编者按】林昊(毕玄)，阿里巴巴研发效能事业部负责人。2007年加入阿里，10年间打造了阿里目前使用最为广泛的核心中间件之一的服务框架；建设了阿里的HBase团队，发展到今天HBase已经是阿里最重要的NoSQL产品；打造阿里基于LXC的虚拟化系统，以及集群资源管理系统，不断降低阿里巴巴在机器资源上 ...
分类：
其他好文 时间：
2019-08-14 16:53:57
阅读次数：
79
在日志（身为小白白的我，一开始日志在哪我都不知道！路径：/usr/local/hadoop/app/hbase-0.98.8/logs/hbase-hadoop-master-Master.log(也就是安装hbase下的logs文件夹中)）中寻找到错误的原因，如下图： 产生错误的原因：zookee ...
分类：
其他好文 时间：
2019-08-14 16:51:17
阅读次数：
242
1.1 flume（日志收集系统） 1.1.1 flume介绍 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 flu ...
分类：
Web程序 时间：
2019-08-14 12:53:23
阅读次数：
131
Hbase简介Hbase概述Hbase原型是Google的BigTable论文，受到了改论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可以在廉价的服务器上搭建起大规模的结构化存储集 ...
分类：
其他好文 时间：
2019-08-14 10:51:52
阅读次数：
217
原因分析 原因分析 原因分析 原因分析 1、hadoop 与 hbase 版本不兼容，导致的异常。 2、log日志信息显示 org.apache.hadoop.hbase.TableExistsException: hbase:namespace 异常，可能是更换了hbase的版本后zookeepe ...
分类：
系统相关 时间：
2019-08-14 09:38:00
阅读次数：
194
1、情况描述如题所示，hbase启动以后，HMaster进程启动了，几秒钟以后自动关闭，但是HRegionServer进程正常运行； 原因是，hdfs的默认端口号是8020，而我core-site.xml中将hdfs的端口修改为了9000。 <property> <name>fs.defaultFS ...
分类：
系统相关 时间：
2019-08-13 22:41:36
阅读次数：
162
这次来安装HBase到虚拟机上边。 把HBase1.4.0上传到usr/local/位置并解压完毕。 配置好环境变量。 改好权限后就可以查看数据库版本以检查安装是否完成。 之后就是单机模式的配置。 修改/usr/local/hbase/conf/hbase-env.sh，添加以下—— 修改/usr/ ...
分类：
其他好文 时间：
2019-08-09 23:27:24
阅读次数：
104
