参见 HDP2.4安装(五)：集群及组件安装 ，安装配置的spark版本为1.6, 在已安装HBase、hadoop集群的基础上通过 ambari 自动安装Spark集群，基于hadoop yarn 的运行模式。 目录： Spark集群安装 参数配置 测试验证 Spark集群安装： 在ambari ...
分类：
其他好文 时间：
2019-10-02 01:00:23
阅读次数：
123
HDP(Hortonworks Data Platform)是hortworks推出的100%开源的hadoop发行版本,以YARN 作为其架构中心，包含pig、hive、phoniex、hbase、storm、spark等大量组件，在最新的2.4版本，监控UI实现与grafana集成,包含组件版本 ...
分类：
其他好文 时间：
2019-10-02 00:52:57
阅读次数：
138
1. HBase简介 1.1 什么是HBase HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成 ...
分类：
其他好文 时间：
2019-10-02 00:48:50
阅读次数：
120
1. HBase安装部署 HBase有两种部署模式：单机版模式和集群版模式。无论哪种模式，都需要配置HBase conf目录下的文件。至少，必须在conf/hbase-env.sh文件中添加JAVA_HOME。在hbase-env.sh这个文件中，可以设置HBase的环境变量，如堆内存大小、JVM的 ...
分类：
其他好文 时间：
2019-10-02 00:37:26
阅读次数：
129
failure: Lost task 18.3 in stage 17.0 (TID 59784,XXXXX, executor 19): java.lang.IllegalArgumentException: Row length is 0 场景是写入hbase： 当取出的line._1做为key ...
分类：
编程语言 时间：
2019-09-30 18:21:35
阅读次数：
101
Pinpoint接入业务监控后数据量大涨，平均每周Hbase数据增量25G左右，数据量太大，需要对数据进行定期清理，否则监控可用性降低。 操作步骤 查找出数据大的hbase表 [root@iZ28ovlz7ccZ worker]# du -sh hbase/data/default/* 2.2M h ...
分类：
其他好文 时间：
2019-09-30 14:37:17
阅读次数：
115
基于Docker搭建大数据集群（七）Hbase搭建 一、安装包准备 "Hbase官网下载" ) "微云下载 | 在 tar 目录下" 二、版本兼容 三、角色分配 节点|Master|Regionserver | | cluster master|yes|no cluster slave1|backu ...
分类：
其他好文 时间：
2019-09-30 12:47:55
阅读次数：
103
下载hbase-2.2.1-bin.tar.gz并执行安装命令： 查看安装目录： 进入安装目录下conf，编辑hbase-env.sh、hbase-site、regionservers文件： hbase-env.sh文件 hbase-site文件： 注：我们测试环境里用的是HBase 2.2.1, ...
分类：
其他好文 时间：
2019-09-29 09:58:42
阅读次数：
96
1 Redis-Cluster简介 1.1 什么是Redis-Cluster 为何要搭建Redis集群。Redis是在内存中保存数据的，而我们的电脑一般内存都不大，这也就意味着Redis不适合存储大数据，适合存储大数据的是Hadoop生态系统的Hbase或者是MogoDB。Redis更适合处理高并发 ...
分类：
其他好文 时间：
2019-09-28 14:49:51
阅读次数：
86
zookeeper与hbase分布式搭建 zookeeper集群 1.zookeeper，故名思意，就是动物园管理员的意思，Hadoop生态里面的东西基本上都是一些小动物的昵称，所以，就这么来了 这里接前篇的Hadoop分布式搭建，所有平台都搭建在/root/app目录下 （千万别学我用根用户弄，我 ...
分类：
其他好文 时间：
2019-09-25 22:51:55
阅读次数：
161
