简介Ganglia是UCBerkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点,Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu、mem、硬盘利用率，I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用工作原理gmetad可以部署在集群内任一台节点或者通过网络连
分类：
其他好文 时间：
2020-07-22 11:49:09
阅读次数：
91
hadoop生产环境的使用是很复杂的，有些公司是CDH或者Ambari等管理工具运维的，有些是原生的集群俗称裸奔，前者优缺点是运维，查看监控等容易，对于底层理解不友好；裸奔集群反之，裸奔集群的很多东西都需要定制和自己开发，比如监控用zabbix，告警用企业微信，节点的异构严重的，需要二次开发配置文件 ...
分类：
其他好文 时间：
2020-07-13 13:17:45
阅读次数：
65
卸载ambari脚本 #!/bin/bash PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin export PATH #取得集群的所有主机名，这里需要注意：/etc/hosts配置的IP和主机名只能用一个 ...
分类：
其他好文 时间：
2020-06-12 11:08:46
阅读次数：
52
一、flume是什么 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 flume的架构： flume的组成架构： 二、flume的组件介绍 1、Agent Agent是一个JVM进程，它以事件的形式将数据从源头送至 ...
分类：
Web程序 时间：
2020-05-14 00:59:14
阅读次数：
91
利用虚拟机安装docker，在docker环境中搭建HDP大数据平台 前言 : 在一台虚拟机上搭建3个docker容器 作为安装HDP的环境，虚拟机环境centos7.6 docker环境为centos7.6 https://hub.docker.com/_/centos 在此网站查询想要的版本号 ...
分类：
其他好文 时间：
2020-04-29 01:26:09
阅读次数：
537
错误信息： ERROR 2019-09-05 10:29:05,700 NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:579)ERROR 2019-09-05 10:29:05,700 NetUtil.py:97 - SS ...
分类：
其他好文 时间：
2020-04-14 11:04:38
阅读次数：
116
1.Hadoop的发展历史起源介绍 a.Hadoop最早起源于Nutch、Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询的功能，但随着抓取网页数量的增加，遇到了严重的可扩展的问题——如何解决数10亿网页的存储和索引问题。 b.2003、2004年谷歌发表的两篇论文为该问题 ...
分类：
其他好文 时间：
2020-04-03 12:26:15
阅读次数：
105
工作需要，大数据相关组件又得重新搭建，整理了一下。序号主机名IP程序CPU内存磁盘操作系统1ambari.dev.smcaiot.com172.16.4.74Ambari4C24GB200GBCentOSLinuxrelease7.4.1708(Core)2master.dev.smcaiot.com172.16.4.74Master4C24GB200GBCentOSLinuxrelease7.4
分类：
其他好文 时间：
2020-03-10 23:28:13
阅读次数：
115
源码编译安装 Ambari 2.7.5，记录步骤如下 1.1 安装依赖 官方Build过程：https://cwiki.apache.org/confluence/display/AMBARI/Ambari+Development 1.2 下载和编译 参考：https://cwiki.apache. ...
分类：
其他好文 时间：
2020-03-10 16:08:25
阅读次数：
718
一、启动服务时，出现若干循环符号链接错误，比如下面是启动ranger时发生的其中一个错误信息： setup_tagsync(upgrade_type=upgrade_type) File "/var/lib/ambari-agent/cache/stacks/HDP/3.0/services/RAN ...
分类：
其他好文 时间：
2020-02-08 11:44:06
阅读次数：
83
