码迷,mamicode.com
首页 >  
搜索关键字:flume reload配置    ( 1102个结果
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
做软件开发的都知道模块化思想,这样设计的原因有两方面: 一方面是可以模块化,功能划分更加清晰,从“数据采集--数据接入--流失计算--数据输出/存储” ? 1).数据采集 负责从各节点上实时采集数据,选用cloud...
分类:Web程序   时间:2015-07-27 21:13:48    阅读次数:185
Flume 开发者指南V1.5.2
介绍 概述 Apache Flume是一个用来从很多不同的源有效地收集,聚集和移动大量的日志数据到一个中心数据仓库的分布式的,可靠的和可用的系统。 Apache Flume是Apache软件基金会的顶级项目。目前有两个可获得的发布代码路线,0.9.x版本和1.x版本。本文档适用于1.x代码线。对于0.9.x代码线,请看Flume 0.9.x开发指南。   结构 数据流模型 一个Eve...
分类:Web程序   时间:2015-07-25 21:37:30    阅读次数:495
Spark Streaming和Flume集成指南V1.4.1
Apache Flume是一个用来有效地收集,聚集和移动大量日志数据的分布式的,可获得的服务。这里我们解释一下怎样配置Flume和Spark Streaming来从Flume获取数据。这里有两个方法。 Python API:Flume现在还不支持PythonAPI   方法1:Flume风格的推方法 Flume被设计用来在Flume代理之间推送数据。在这种方法中,Spark Streami...
分类:Web程序   时间:2015-07-24 09:24:14    阅读次数:163
Hadoop入门进阶课程12--Flume介绍、安装与应用案例
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,博主为石山园,博客地址为 http://www.cnblogs.com/shishanyuan 。该系列课程是应邀实验楼整理编写的,这里需要赞一下实验楼提供了学习的新方式,可以边看博客边上机实验,...
分类:Web程序   时间:2015-07-23 09:29:35    阅读次数:263
storm 及kafka总是无缘无故Session close
最近在搞kafak+storm+flume实时处理,但是kafka与storm总是会自己莫名死掉,查看日志就是下面的内容: 2015-07-22T03:15:31.808+0800?b.s.event?[INFO]?Event?manager?interrupted 2015-07-22T03:15:31.808...
分类:其他好文   时间:2015-07-22 16:44:13    阅读次数:134
hadoop+kafka+strom+flume第一步
1、所有主机需要安装JDK,并配置JDK环境变量 2、所有主机安装SSH,并相互间实现无密访问 3、修改主机hosts :文件/etc/hosts,保证各机器通过机器名可以互访 4、安装python 2.6及以上(storm用) 5、ZeroMQ Java代...
分类:Web程序   时间:2015-07-20 17:06:59    阅读次数:170
大数据技术之Flume研究摘要(一)
本文是作者研究Flume的一些内容摘要,包括Flume最新的版本及flume的相关组件介绍。...
分类:Web程序   时间:2015-07-16 00:54:03    阅读次数:524
Hadoop的组成
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到,但是他们都有什么功能,为什么会需要奇怪的名字(如Oozie,ZooKeeper、Flume)。 Hadoop带来了廉价的处理大数据(大数据的数据容量通常是10-100GB或更多,同时数据种类多种多样,包括结构化、非结构化等)的能力。但这与之前有什么不同? 现今企业数据仓库和关系型数据库擅长处理结...
分类:其他好文   时间:2015-07-12 09:47:21    阅读次数:149
开启flume的远程调试功能
各种组件,比如tomcat、storm、flume,我们都可以通过JMX方式开启远程调试,主要可以用来跟踪源码,了解程序内部的运行机制,其次,也有利于你修改源码。首先,本质上是要修改flume本身启动的配置文件的jvm配置部分。找到flume目录下的bin文件夹,下面会有个flume-ng文件,这便...
分类:Web程序   时间:2015-07-11 00:54:09    阅读次数:819
修改flume源码,使其HTTPSource具备访问路径功能
目前有一个需求,就是Flume可以作为一个类似于tomcat的服务器,可以通过post请求进行访问,并且路径需要:ip:port/contextPath格式。经过一些资料获悉,httpSource只是httpSource的一个玩具工具,可以说毛坯版,目前仅仅支持的是按照ip:port访问,并不具备s...
分类:Web程序   时间:2015-07-10 00:03:28    阅读次数:353
1102条   上一页 1 ... 85 86 87 88 89 ... 111 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!