码迷,mamicode.com
首页 >  
搜索关键字:agents flume    ( 1276个结果
flume 收集日志,写入hdfs
首先安装flume:建议和Hadoop保持统一用户来安装Hadoop,flume本次我采用Hadoop用户安装flumehttp://douya.blog.51cto.com/6173221/1860390开始配置:1,配置文件编写:vimflume_hdfs.conf#Defineamemorychannelcalledch1onagent1agent1.channels.ch1.type=memoryagent1.channe..
分类:Web程序   时间:2016-12-06 14:52:40    阅读次数:312
Flume官方文档翻译——Flume 1.7.0 User Guide (unreleased version)(一)
官方文档是程序员最好的学习资料,本篇是Flume User Guide(一),希望能够帮助更好地学习Flume。 ...
分类:Web程序   时间:2016-12-05 20:16:30    阅读次数:297
flume:spooldir采集日志,kafka输出的配置问题
flume配置: #DBFile DBFile.sources = sources1 DBFile.sinks = sinks1 DBFile.channels = channels1 # DBFile-DB-Source DBFile.sources.sources1.type = spooldi... ...
分类:Web程序   时间:2016-12-03 11:51:21    阅读次数:449
大数据架构开发 挖掘分析 Hadoop HBase Hive Storm Spark Sqoop Flume ZooKeeper Kafka Redis MongoDB 机器学习 云计算 视频教程 Java互联网架构师
大数据架构开发 挖掘分析 Hadoop HBase Hive Storm Spark Sqoop Flume ZooKeeper Kafka Redis MongoDB 机器学习 云计算 视频教程 Java架构师高薪培训 Web项目 Activiti Dubbo Redis Spring Nutch ...
分类:数据库   时间:2016-12-02 02:20:10    阅读次数:215
Flume协作框架
1.概述 -》flume的三大功能 collecting, aggregating, and moving 收集 聚合 移动 2.框图 3.架构特点 -》on streaming data flows 基于流式的数据 数据流:job-》不断获取数据 任务流:job1->job2->job3&job4 ...
分类:Web程序   时间:2016-11-25 12:19:18    阅读次数:290
flume ng
环境:CentOS6.6 64位 + flume 1.6 一、安装及简单实例 注意:需要预先安装JDK,因为flume是基于Java的。 下载flume软件包,并解压到/opt目录下: 补充: 1)、模板example.conf内容如下: #配置一个agent 名字为a1 #声明这个agent的三个 ...
分类:Web程序   时间:2016-11-24 18:47:04    阅读次数:473
Flume_初识
企业架构 概念: 三大功能 collecting(收集),aggregating(聚合),moving(传输) 特点: on streaming data flows(基于流式的数据) Flume-ng只有一个角色节点: agent的角色,agent有source、channel、sink组成 Fl ...
分类:Web程序   时间:2016-11-24 15:09:24    阅读次数:215
Flume_常见的几个问题
在HDFS的文件默认生成文件大小1K,如何设置文件大小和数量 使用Flume是为了将最新的数据或文件上传到HDFS上,那如果遇到分区表该如何解决 Flume上传文件默认是以FlumeData开头,如何更改开头信息 企业中多台Flume如何解决磁盘IO问题 如何解决不同操作系统下Flume ...
分类:Web程序   时间:2016-11-24 14:54:59    阅读次数:236
Flume_企业中日志处理
企业中的日志存放_1 企业中的日志存放_2 企业中常用架构 Flume多sink ...
分类:Web程序   时间:2016-11-24 14:50:00    阅读次数:327
Flume_使用
案例一: source:hive.log channel: memory sink: logger输出 案例二:source:hive.log channel: file sink: logger输出 案例三:source:hive.log channel: mem sink: hdfs ...
分类:Web程序   时间:2016-11-24 14:30:56    阅读次数:296
1276条   上一页 1 ... 69 70 71 72 73 ... 128 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!