1.安装jdk 我这里已经安装过了，这里就不演示了 2.安装flume 安装cdh版本的，http://archive.cloudera.com/cdh5/cdh/5/ 安装完毕之后，配置环境变量。 我们看看文件的结构 bin目录是一些启动文件，conf是配置文件，其他的不用关注，我们进入conf目 ...
分类：
Web程序 时间：
2018-11-08 01:09:47
阅读次数：
239
1 框架一览 事件处理的架构图如下所示。 2 优化总结 当我们第一次部署整个方案时，kafka和flume组件都执行得非常好，但是spark streaming应用需要花费4-8分钟来处理单个batch。这个延迟的原因有两点，一是我们使用DataFrame来强化数据，而强化数据需要从hive中读取大 ...
分类：
其他好文 时间：
2018-11-02 23:29:29
阅读次数：
241
前言 在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示： 1. Flume日志采集框架 1.1 Flume介绍 1.1.1 ...
分类：
Web程序 时间：
2018-11-02 16:35:12
阅读次数：
269
目前在大规模日志处理平台中常见的日志采集器可以采用Logstash或Flume。这两种日志采集器架构设计理念基本相似，都采用采集-过滤处理-输出的方式。下面对这两种采集器Syslog接收性能做个简单测试，供大家参考。 ...
分类：
Web程序 时间：
2018-11-01 15:09:25
阅读次数：
194
Flume和Kafka完成实时数据的采集 写在前面 Flume和Kafka在生产环境中，一般都是结合起来使用的。可以使用它们两者结合起来收集实时产生日志信息，这一点是很重要的。如果，你不了解flume和kafka，你可以先查看我写的关于那两部分的知识。再来学习，这部分的操作，也是可以的。 实时数据的 ...
分类：
Web程序 时间：
2018-10-31 15:49:53
阅读次数：
526
Flume中的拦截器（interceptor），用户Source读取events发送到Sink的时候，在events header中加入一些有用的信息，或者对events的内容进行过滤，完成初步的数据清洗。这在实际业务场景中非常有用，Flume-ng 1.6中目前提供了以下拦截器： Timestam ...
分类：
Web程序 时间：
2018-10-29 21:30:13
阅读次数：
146
分布式分布式服务：Dubbo+Zookeeper+Proxy+Restful分布式消息中间件：KafKa+Flume+Zookeeper分布式缓存：Redis分布式文件：FastDFS负载均衡：Keepalived+Nginx+Proxy(三重负载)JEESZUI基于Bootstrap4简洁、直观、强悍最受欢迎的HTML、CSS和JS框架，用于开发响应式布局、移动设备优先的WEB项目。为所有开发者
分类：
其他好文 时间：
2018-10-29 14:11:43
阅读次数：
124
分布式分布式服务：Dubbo+Zookeeper+Proxy+Restful分布式消息中间件：KafKa+Flume+Zookeeper分布式缓存：Redis分布式文件：FastDFS负载均衡：Keepalived+Nginx+Proxy(三重负载)JEESZUI基于Bootstrap4简洁、直观、强悍最受欢迎的HTML、CSS和JS框架，用于开发响应式布局、移动设备优先的WEB项目。为所有开发者
分类：
其他好文 时间：
2018-10-29 14:10:17
阅读次数：
175
1、概述 Flume：收集、聚集，移动大量日志数据到指定位置 2、核心组件 基本单位：agent source：收集 channel：聚集 sink：发送 3、一般写Flume配置文件能解决大部分问题 ...
分类：
Web程序 时间：
2018-10-27 18:43:14
阅读次数：
182
---------------------概述----------------------Zabbix是一个高度集成的企业级开源网络监控解决方案，与Caci、Nagios类似，提供分布式监控以及集中的Web管理界面。被监控对象只要支持SNMP协议或者运行Zabbix_agents代理程序即可，Zabbix的官方网址为http://www.zabbix.com/软件可以自由下载使用。补充：SNMP协
分类：
其他好文 时间：
2018-10-27 00:20:36
阅读次数：
180
