原因一:zabbix_agentd.conf文件中hostname配置错误,不与服务器host页面的hostname一致,导致active模式时,数据无法采集。解决办法:配置正确的hostname原因二:服务器和agentd配置正确,网络无防火墙,但是agentd所在的服务器本地时间与zabbix服务器端时间相差太大,导致数据无法采集解决办法:调整本地时间与服务器时间一致优化办法:配置NTP服务器
分类:
其他好文 时间:
2020-04-30 17:04:24
阅读次数:
130
Flink运行模式分为:集群模式、单机模式 集群模式:Flink的并行度取决于配置文件中的默认值,如下如所示: 在此配置的默认值下,全局的所有算子平行度都是1,我们也可以在程序中重写这个并行度 设置方式如下: 在本地模式下:默认的并行度为CPU核数可以执行线程数的最大值。比如:一台 8核 16线程的 ...
分类:
其他好文 时间:
2020-04-11 18:11:57
阅读次数:
140
背景 1)试试本地模式的spark streaming 2)试试yarn模式的spark streaming 1、本地模式的spark streaming 代码如下: package com.hxh import org.apache.spark.SparkConf import org.apach ...
分类:
其他好文 时间:
2020-04-03 19:55:21
阅读次数:
63
Hadoop有三种模式:本地模式、伪分布模式、集群模式 1、本地模式 1、在/opt下面创建一个software文件 2、将文件hadoop-2.6.5.tar.gz拷贝到 /opt/software下面 3、在usr下创建hadoop把hadoop-2.6.5.tar.gz 复制到 /usr/ha ...
分类:
其他好文 时间:
2020-04-02 11:42:47
阅读次数:
75
前面我们已经安装了flink,与storm一样,flink也有两种模式,一是本地模式,主要用于学习和测试,另一个是集群模式,实际生产中使用这种模式。本节将阐述如何使用本地模式的flink进行词频统计。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100 ...
分类:
其他好文 时间:
2020-03-30 00:09:57
阅读次数:
64
hdfs有点:高容错性。自动保存多个副本,副本丢失自动恢复,文件处理规模大,可以放置在廉价的机器上面 缺点:hdfa对每一个小文件都有记录,无论大小都会占用内存解决方法是合并处理,不适合低延时的数据访问 文件块的大小决定于磁盘的数据传输效率:一般的是128mb,老版本是64mb,本地模式是32mb, ...
分类:
其他好文 时间:
2020-03-16 13:14:29
阅读次数:
72
错误原因: namenode内存空间不够,JVM剩余内存空间不够新job运行所致 解决办法: 将hive设置成本地模式来执行任务 set hive.exec.mode.local.auto=true; ...
分类:
其他好文 时间:
2019-12-18 00:03:59
阅读次数:
915
本地模式Spark单机运行,一般用于开发测试。Standalone模式构建一个由Master+Slave构成的Spark集群,Spark运行在集群中。Spark on Yarn模式Spark客户端直接连接Yarn。不需要额外构建Spark集群。Spark on Mesos模式Spark客户端直接连接 ...
分类:
其他好文 时间:
2019-12-09 21:11:23
阅读次数:
237
理论篇 概述 概述 应用场景 提供服务包括:分布式消息同步和协调机制,服务器节点动态上下线,统一配置管理,负载均衡,集群管理等 本地模式安装部署 安装准备: 安装JavaJDK 将下载zookeeper安装tar包上传到linux系统中 解压tar包并修改文件权限 修改配置文件 将zookeeper ...
分类:
其他好文 时间:
2019-11-27 23:45:55
阅读次数:
171
本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建。 本地模式需要采用MySQL数据库存储数据。 1 环境介绍 一台阿里云ECS服务器:master 操作系统:CentOS 7.3 Hadoop:hadoop-2.7.3.tar.gz Java: j ...
分类:
其他好文 时间:
2019-11-23 12:49:25
阅读次数:
82