1、设置防火墙规则开启防火墙入站（tcp和udp）10050端口或者关闭防火墙2、在zabbix官网上下载windows包https://www.zabbix.com/downloadzabbix_agents-4.0.5-win-i386.zip3、安装、启动zabbix客户端我这里将压缩包解压到了c盘的根目录下，并且我将目录名改成了zabbix在zabbix目录下有conf和bin两个目录co
近期开始接触真正的实时同步，之前接触的SparkStreaming偏重于实时计算，kafka和flume只能算简单的数据同步，如今正式开始做产品化的数据同步项目。特此记录一些知识点。 ...
分类：
其他好文 时间：
2019-03-26 19:35:01
阅读次数：
177
这两天主要是做了中国移动的实时数据分析一个小项目（可以说是demo了），这里记录下来整个过程里面遇到的坑，首先安装好flume，kafka，spark（基于代码本地运行可以不安装），redis，zookeeper 主要是为了熟悉一下整个的一个spark-streaming的一个整个流程，还有就是了解 ...
分类：
移动开发 时间：
2019-03-25 20:27:37
阅读次数：
322
flume sink核心类结构 1 核心接口Sink org.apache.flume.Sink process为核心接口，返回值为状态，只有两个：ready和backoff，调用方会根据返回值做相应处理，后边会看到；这个接口也是扩展flume sink需要实现的接口，比如KuduSink； 2 S ...
分类：
Web程序 时间：
2019-03-21 12:04:24
阅读次数：
272
出现这个错误是自己的粗心大意，解决： 在配置flume-conf.properties文件时，source和channel的对应关系是： myAgentName.sources.mySourceName.channels = myChannelName myAgentName.sinks.mySin ...
分类：
Web程序 时间：
2019-03-17 21:26:02
阅读次数：
195
1、Flume 2、Flume角色 3、flume使用 4、flume安装配置 5、flume监听端口 6、flume监听本地linux文件采集到hdfs 7、监听文件夹 8、多个channel/sink ...
分类：
Web程序 时间：
2019-03-09 19:01:45
阅读次数：
214
[TOC] 本案例参考自阿里云的 "视频直播解决方案之视频核心指标监控" 和 "视频直播解决方案之直播数字化运营" 。 基于Kafka + Flink + ELK + Redis实现视频直播数据的实时处理和可视化。 选型仅仅出于练习考虑，Logstash一般会换成flume或者直接用kafka。 模 ...
分类：
其他好文 时间：
2019-03-06 13:38:35
阅读次数：
182
由于没具体研究过画图，以前在公司每天都用Excel，所以很多图画都是画在了Excel上再剪切的，看着可能不太舒服。 先来看一下数据走向： 这样我们就大致了解了flume是干嘛的，在什么位置了。 Flume简介： Apache Flume是一个分布式、可信任（事务性）的弹性系统，用于高效收集、汇聚和移 ...
分类：
Web程序 时间：
2019-03-05 09:18:48
阅读次数：
281
原因：checkpoint文件夹，不为空。 解决：设置空的checkpoint文件夹。或删除checkpoint文件夹下的内容。 原因：java堆内存默认20m，数据量大时oom。 解决： export JAVA_OPTS="-Xms2048m -Xmx2048m -Xss256k -Xmn1g - ...
分类：
Web程序 时间：
2019-03-04 17:04:28
阅读次数：
359
本文由云+社区发表 作者：皮皮熊 概述 Apache Flume是一个用于高效地从大量异构数据源收集、聚合、传输到一个集中式数据存储的分布式、高可靠、高可用的系统。 Apache Flume是Apache基金会的顶级项目。现在有两个代码版本线可以获取:0.9.x和1.x。本文档对应的是1.x版本。 ...
分类：
Web程序 时间：
2019-03-01 12:20:58
阅读次数：
190
