本文是学习时的自我总结，用于日后温习。如有错误还望谅解，不吝赐教 此处附上部分内容所出博客：http://blog.csdn.net/ymh198816/article/details/51998085 Flume+Kafka+Storm+Redis实时分析系统基本架构 1) 整个实时分析系统的架构 ...
分类：
Web程序 时间：
2017-12-18 14:11:09
阅读次数：
214
flume-kafka-storm-hdfs-hadoop-hbase ...
分类：
Web程序 时间：
2017-12-15 16:18:48
阅读次数：
197
Sqoop Flume HDFS Sqoop用于从结构化数据源，例如，RDBMS导入数据 Flume 用于移动批量流数据到HDFS HDFS使用 Hadoop 生态系统存储数据的分布式文件系统 Sqoop具有连接器的体系结构。连接器知道如何连接到相应的数据源并获取数据 Flume 有一个基于代理的架 ...
分类：
Web程序 时间：
2017-12-13 17:05:24
阅读次数：
242
1：项目技术架构图： 2：流程图解析，整体流程如下： ETL即hive查询的sql; 但是，由于本案例的前提是处理海量数据，因而，流程中各环节所使用的技术则跟传统BI完全不同: 1) 数据采集：定制开发采集程序，或使用开源框架FLUME 2) 数据预处理：定制开发mapreduce程序运行于hado ...
分类：
Web程序 时间：
2017-12-09 23:50:23
阅读次数：
262
Apache Flume概述 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 支持定制各类数据发送方，用于收集各类型数据；同时，Flume 提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。一般的采集需求，通过对 flu ...
分类：
Web程序 时间：
2017-12-08 23:58:12
阅读次数：
358
整合Kafka+Storm，消息通过各种方式进入到Kafka消息中间件，比如通过使用Flume来收集的日志数据，然后暂由Kafka中的路由暂存，然后在由实时计算程序Storm做实时分析，这时候我们需要讲Storm中的Spout中读取Kafka中的消息，然后交由具体的Bolt组件分析处理。实际上在 a ...
分类：
数据库 时间：
2017-12-05 15:24:31
阅读次数：
434
实践一：regex filter interceptor 1、目标场景 regex filter interceptor的作用： 1）将event body的内容和配置中指定的正则表达式进行匹配2）如果内容匹配，则将该event丢弃3）如果内容不匹配，则将该event放行 2、Flume Agent ...
分类：
Web程序 时间：
2017-12-03 18:09:32
阅读次数：
314
1、目标场景 2、flume agent配置文件 3、验证timestamp+host interceptor 验证思路： 1）先将interceptor作用后的event，通过logger sink打印到console，验证header是否正常添加2）修改sink为hdfs, 观察目录和文件的名称 ...
分类：
Web程序 时间：
2017-12-03 13:56:54
阅读次数：
302
1、负载均衡场景 1）初始：上游Agent通过round_robin selector, 将event轮流发送给下游Collecotor1, Collector2 2）故障： 关闭Collector1进程来模拟故障，Agent1由于配置了backoff, 会将Collecotor1暂时从发送列表中移 ...
分类：
Web程序 时间：
2017-12-02 19:09:11
阅读次数：
225
1、实践场景 模拟上游Flume Agent在发送event时的故障切换 （failover） 1）初始：上游Agent向active的下游节点Collector1传递event 2）Collector1故障： kill该进程的方式来模拟， event此时发送给Collector2，完成故障切换 3 ...
分类：
Web程序 时间：
2017-12-02 11:11:03
阅读次数：
152
