一.Flume是什么？Flume是一个分布式，可靠的系统。它能够高效的收集，整合数据，还可以将来自不同源的大量数据移动到数据中心存储。Flume是Apache下的一个顶级项目。Flume不仅可以收集整合日志数据，因为数据源是可以自定义的，Flume能够用于传输大量日志数据，这些数据包含到不仅限于网络传输数据、社交媒体生成的数据、邮件信息等等。当前的版本有0.9.x和1.x。新版本具有更加灵活的配置
分类：
Web程序 时间：
2018-03-13 19:09:08
阅读次数：
215
一、实时业务指标分析 1.业务 业务： 订单系统 >MQ >Kakfa >Storm 数据：订单编号、订单时间、支付编号、支付时间、商品编号、商家名称、商品价格、优惠价格、支付金额 统计双十一当前的订单金额，订单数量，订单人数 订单金额（整个网站，各个业务线，各个品类，各个店铺，各个品牌，每个商品） ...
分类：
Web程序 时间：
2018-03-12 21:16:36
阅读次数：
229
一、官网教程案例学习 Kafka — 分布式消息队列 消息系统 消息中间件：缓冲于生产与消费中间 缓冲满了，可以进行Kafka的扩容 特性： 水平扩展性、容错性、实时、快 Kafka架构： 理解producer、consumer、broker（缓冲区）、topic（标签） 一个配置文件（server ...
分类：
其他好文 时间：
2018-03-11 17:38:13
阅读次数：
182
一、Flume基础部分： Flume -- 日志收集框架 产生背景： 日志分散到各个机器上，又想用大数据平台进行统计分析 从其他server把日志移动收集到集群上，并能够监控，需要有时效性、容错性、负载均衡 Flume 一般通过配置configuration file，来实现各种数据的收集 概述： ...
分类：
Web程序 时间：
2018-03-11 17:24:50
阅读次数：
204
Q1： 在迭代式开发过程中，产品需要经过多次迭代以达到用户需求而用户需求也在变化，如果多次迭代后发现某一前期版本恰好满足了当前用户需求，那么中间的多次迭代是否算是对于成本的浪费？（1.4.4螺旋模型） Q2： 对于自主设计的项目是否需要对需求进行风险评估以确保需求的有价值和有意义？（第1章） Q3： ...
分类：
其他好文 时间：
2018-03-06 21:53:52
阅读次数：
189
WIN7+Ubuntu16.04+Flume1.8.0 1.下载apache-flume-1.8.0-bin.tar.gz http://flume.apache.org/download.html 2.解压到/usr/local/flume中 3.设置配置文件/etc/profile文件，增加fl ...
分类：
Web程序 时间：
2018-03-05 20:46:23
阅读次数：
237
欢迎关注大数据和人工智能技术文章发布的微信公众号：清研学堂，在这里你可以学到夜白（作者笔名）精心整理的笔记，让我们每天进步一点点，让优秀成为一种习惯！ 一、Flume的介绍： Flume由Cloudera公司开发，是一种提供高可用、高可靠、分布式海量日志采集、聚合和传输的系统，Flume支持在日志系 ...
分类：
Web程序 时间：
2018-03-04 19:01:17
阅读次数：
197
1.如果没有安装过Java环境，则需首先安装JDK。 可参考《Windows上搭建Kafka运行环境》中的搭建环境安装JDK部分 2.官方下载Flume（当前为apache-flume-1.8.0-bin.tar.gz） 官方下载地址 官方用户手册 3.根据官方用户手册，创建一个简单例子监听4444 ...
[root@hadoop01 src]# mkdir flume [root@hadoop01 src]# ll 总用量 0 drwxr-xr-x. 2 root root 6 4月 7 2017 docker drwxr-xr-x. 2 root root 6 3月 2 03:04 flume d ...
分类：
Web程序 时间：
2018-03-02 01:11:57
阅读次数：
237
本文介绍flume读取kafka数据的方法 代码： /******************************************************************************* * Licensed to the Apache Software Foundatio ...
分类：
Web程序 时间：
2018-02-16 10:16:47
阅读次数：
225
