Avro Source 监听avro端口，接收外部avro客户端数据流。跟前面的agent的Avro Sink可以组成多层拓扑结构。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 a1.sources=s1 a1.sinks=k1 a1.channels=c1 a1. ...
分类：
Web程序 时间：
2017-01-13 23:33:38
阅读次数：
368
拦截器作用：拦截器是简单的插件式组件，设置在source和channel之间。source接收到的事件，在写入channel之前，拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。可以自定义拦截器。 flume修改时间戳的插件见 https://github.co ...
分类：
Web程序 时间：
2017-01-13 22:01:04
阅读次数：
174
1.flume概念 flume是分布式的，可靠的，高可用的，用于对不同来源的大量的日志数据进行有效收集、聚集和移动，并以集中式的数据存储的系统。 flume目前是apache的一个顶级项目。 flume需要java运行环境，要求java1.6以上，推荐java1.7. 将下载好的flume安装包解压 ...
分类：
Web程序 时间：
2017-01-09 23:54:27
阅读次数：
3575
一、负责收集数据的工具：Sqoop（关系型数据导入Hadoop）Flume（日志数据导入Hadoop，支持数据源广泛）Kafka（支持数据源有限，但吞吐大） 二、负责存储数据的工具：HBaseMongoDBCassandraAccumulo MySqlOracleDB2 HDFS（Hadoop Di ...
分类：
其他好文 时间：
2017-01-06 00:07:46
阅读次数：
343
apache-flume重启脚本,apache-flume重启经常性的启动多个进程，杀不干净，就写个重启脚本。#echo-e参数输出为红色，网上可以搜下shell输出带颜色的字体编码很多。catobi-track_restart.sh
#!/bin/bash
pid=`lsof-i:8787|grepjava|awk‘{print$2}‘`
if[-n"${pid}"];then
echo-e"#..
分类：
Web程序 时间：
2017-01-03 17:29:22
阅读次数：
384
转载标明出处：http://www.cnblogs.com/adealjason/p/6240122.html 最近想玩一下流计算，先看了flume的实现原理及源码 源码可以去apache 官网下载 下面整理下flume的原理及代码实现： flume是一个实时数据收集工具，hadoop的生态圈之一， ...
分类：
Web程序 时间：
2016-12-31 20:46:48
阅读次数：
582
背景:利用kafka+flume+morphline+solr做实时统计。 solr从12月23号开始一直没有数据。查看日志发现,因为有一个同事加了一条格式错误的埋点数据，导致大量error。 据推断，是因为使用mem channel占满，消息来不及处理，导致新来的数据都丢失了。 修改flume使用 ...
分类：
Web程序 时间：
2016-12-28 19:40:54
阅读次数：
207
Spark机器学习 1 在线学习 模型随着接收的新消息，不断更新自己；而不是像离线训练一次次重新训练。 2 Spark Streaming 离散化流(DStream) 输入源：Akka actors、消息队列、Flume、Kafka、…… http://spark.apache.org/docs/l ...
分类：
其他好文 时间：
2016-12-27 14:23:03
阅读次数：
245
Flume作为日志采集系统，有着独特的应用和优势，那么Flume在实际的应用和实践中到底是怎样的呢？让我们一起踏上Flume之路。1、什么是ApacheFlume（1）ApacheFlume简单来讲是高性能、分布式的日志采集系统，和sqoop同属于数据采集系统组件，但是sqoop用来采集关系型数据库数据，..
分类：
Web程序 时间：
2016-12-22 20:51:32
阅读次数：
210
最近Hue+Solr 方案原型验证有了一些进展。正好也收到了Google的大数据专家Sam的来件询问进展，我答复如下： Sam, 你好。 已经把Kafka＋flume＋solr的实时索引搭建起来了， 现在用实时事件统计的场景在测试数据(当前方案为kafka storm mysql)，solr现在数据... ...
分类：
其他好文 时间：
2016-12-19 21:36:08
阅读次数：
383
