1.1 flume（日志收集系统） 1.1.1 flume介绍 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 flu ...
分类：
Web程序 时间：
2019-08-14 12:53:23
阅读次数：
131
Hbase简介Hbase概述Hbase原型是Google的BigTable论文，受到了改论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可以在廉价的服务器上搭建起大规模的结构化存储集 ...
分类：
其他好文 时间：
2019-08-14 10:51:52
阅读次数：
217
原因分析 原因分析 原因分析 原因分析 1、hadoop 与 hbase 版本不兼容，导致的异常。 2、log日志信息显示 org.apache.hadoop.hbase.TableExistsException: hbase:namespace 异常，可能是更换了hbase的版本后zookeepe ...
分类：
系统相关 时间：
2019-08-14 09:38:00
阅读次数：
194
1、情况描述如题所示，hbase启动以后，HMaster进程启动了，几秒钟以后自动关闭，但是HRegionServer进程正常运行； 原因是，hdfs的默认端口号是8020，而我core-site.xml中将hdfs的端口修改为了9000。 <property> <name>fs.defaultFS ...
分类：
系统相关 时间：
2019-08-13 22:41:36
阅读次数：
162
这次来安装HBase到虚拟机上边。 把HBase1.4.0上传到usr/local/位置并解压完毕。 配置好环境变量。 改好权限后就可以查看数据库版本以检查安装是否完成。 之后就是单机模式的配置。 修改/usr/local/hbase/conf/hbase-env.sh，添加以下—— 修改/usr/ ...
分类：
其他好文 时间：
2019-08-09 23:27:24
阅读次数：
104
本周主要是熟悉HDFS的操作。 在虚拟机安装好Hadoop后，我需要先熟悉下其自带的HDFS文件系统以及MapReduce的一系列操作，为接下来HBase的学习做好铺垫。因为HBase的文件存储系统是HDFS、数据处理方式是MapReduce，在很多操作上面有很多需要操作HDFS来进行的，所以我需要 ...
分类：
其他好文 时间：
2019-08-09 21:56:58
阅读次数：
101
hbase mutation操作，比如delete put等，都需要先获取行锁，然后再进行操作，在获取行锁时，是通过HRegion.getRowLockInternal(byte[] row, boolean waitForLock)进行的，因此，我们先大体浏览一下这个方法的流程，如下。可以看到，该 ...
分类：
其他好文 时间：
2019-08-08 19:14:43
阅读次数：
132
==目的== 想把zookeeper、hadoop、hbase、storm等大数据组件 设置为开机启动，并且进程挂掉之后，可以自动重启，以减少运维压力。 ==service文件== 路径：/usr/lib/systemd/system 文件名：train-zookeeper.service 样例： ...
分类：
系统相关 时间：
2019-08-08 13:32:27
阅读次数：
170
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooK ...
分类：
其他好文 时间：
2019-08-07 19:07:50
阅读次数：
85
实现步骤 1.准备三台虚拟机，01作为主节点，02、03作为从节点。（把每台虚拟机防火墙都关掉，配置免密码登录，配置每台的主机名和hosts文件。） 2.01节点上安装和配置：Hadoop+Hbase+JDK+Zookeeper 3.02、03节点上安装和配置：Hbase+JDK+Zookeeper ...
分类：
其他好文 时间：
2019-08-07 17:37:26
阅读次数：
116
