环境变量： 命令行里可以执行相应的命令 这些命令就是一些可执行的文件 当在命令行执行命令的时候， 系统会根据环境变量里设置的PATH的值 查询所有的目录去寻找相应的可执行文件 数据采集（flume，storm）数据存储（HDFS）数据处理（MapReduce，Hive，Spark）数据分析（Maho ...
分类：
其他好文 时间：
2016-06-30 16:30:49
阅读次数：
169
Flume基本操作 1.把Telnet产生的内容写入到控制台显示 a.conf内容如下： 2.把hive中产生的log写入到hdfs flume-hive.conf内容如下： 如果是HA架构需要把HA的core-site.xml与hdfs-site.xml放入到/opt/modules/cdh/fl ...
分类：
Web程序 时间：
2016-06-30 14:17:08
阅读次数：
254
一些需求是原生Flume无法满足的，因此，基于开源的Flume我们增加了许多功能。 EventDeserializer的缺陷 Flume的每一个source对应的deserializer必须实现接口EventDeserializer，该接口定义了readEvent/readEvents方法从各种日志 ...
分类：
Web程序 时间：
2016-06-26 21:13:10
阅读次数：
625
一个稳定可靠的系统离不开监控，我们不仅监控服务是否存活，还要监控系统的运行状况。运行状况主要是对这些组件的核心metrics采集、抓取、分析和报警。 一、监控的数据 监控的日志数据一般包括： v APP、PC、Web 等系统运行Log：采用Flume-NG搜集 v 用户日志 : 采用Flume-NG ...
分类：
其他好文 时间：
2016-06-26 21:05:08
阅读次数：
224
在很多情况下，我们为了不丢失数据，一般都会为数据收集端扩展断点续传，而随着公司日志系统的完善，我们在原有的基础上开发了断点续传的功能，以下是思路，大家共同讨论：核心流程图： 源码：/*
* 作者：许恕
* 时间：2016年5月3日
* 功能：实现tail 某目录下的所有符合正则条件的文件
* Email：xvshu1@163.com
* T...
分类：
Web程序 时间：
2016-06-24 15:34:02
阅读次数：
291
Flume：Flume是一个分布式，可依赖的，用于高效率的收集、聚类、移动大量数据的服务。Flume使用基于流数据的简单而且可扩展的架构。由于拥有可调的依赖机制和许多故障恢复机制，Flume是健壮而且容错的。Flume使用简单的可扩展的数据模型，能够用于在线数据分析。 官网：http://flume ...
分类：
Web程序 时间：
2016-06-23 16:05:34
阅读次数：
172
本文系微博运维数据平台（DIP）在Flume方面的优化扩展经验总结，在使用Flume FileChannel的场景下将吞吐率由10M/s~20M/s提升至80M/s~90M/s，分为四个部分进行介绍： 应用场景 Flume实例架构 Flume调试及优化扩展 Flume Todo 生产环境部署 1. ...
分类：
Web程序 时间：
2016-06-21 12:16:52
阅读次数：
2259
机器列表：192.168.137.115slave0（agent）
192.168.137.116slave1（agent）
192.168.137.117slave2（agent）
192.168.137.118slave3（collector）
192.168.137.119slave4（collector）在每个机器上创建目录mkdir-p/home/qun/data/flume/logsmkdir-p/home/qun/data/flume/datam..
分类：
Web程序 时间：
2016-06-14 19:44:14
阅读次数：
729
*目的是为了防采集。需要对网站的日志信息，进行一个实时的IP访问监控。1、kafka版本是最新的0.10.0.02、spark版本是1.613、下载对应的spark-streaming-kafka-assembly_2.10-1.6.1.jar放到spark目录下的lib目录下4、利用flume将nginx日志写入到kafka（后续补充）5、编写python..
分类：
Web程序 时间：
2016-06-13 19:28:08
阅读次数：
1223
关于大数据的实时流处理，AWS提供了传统方案和完全host方案
传统方案是EC2上面部署flume （采集）、kafka（数据转存）、storam（流处理）完全host方案是Kinesis。使用Kinesis还是需要用户通过API来将手机、网站点击、IoT、传感器等各类数据源的数据接入，并允许用户编写Kinesis的Worker来处理...
分类：
其他好文 时间：
2016-06-12 02:57:31
阅读次数：
847
