a1.sources = r1 a1.sinks = k1 k2 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.source... ...
分类：
Web程序 时间：
2017-05-17 00:49:52
阅读次数：
216
a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r... ...
分类：
Web程序 时间：
2017-05-17 00:49:15
阅读次数：
214
a1.sources = r1 a1.sinks = k1 k2 a1.channels = c1 c2 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sou... ...
分类：
Web程序 时间：
2017-05-17 00:40:08
阅读次数：
205
Overview Flume：一个分布式的，可靠的，可用的服务，用于有效地收集、聚合、移动大规模日志数据 我们搭建一个flume + Spark Streaming的平台来从Flume获取数据，并处理它。 有两种方法实现：使用flume-style的push-based方法，或者使用自定义的sink ...
分类：
Web程序 时间：
2017-05-09 12:32:54
阅读次数：
218
Stream是从起源(source)到接收(sink)的有序数据 按照流向分可以分为输入流和输出流 输入流：只能从中读取数据，不能写入数据(基类是InputStream和Reader) 输出流：只能向其中写入数据，不能读取数据(基类是OutputStream和Writer) 按照操作的数据单元分为字 ...
分类：
其他好文 时间：
2017-05-03 22:50:45
阅读次数：
215
如果还没看过Flume-ng源码解析之启动流程，可以点击Flume-ng源码解析之启动流程查看1接口介绍组件的分析顺序是按照上一篇中启动顺序来分析的，首先是Channel，然后是Sink，最后是Source，在开始看组件源码之前我们先来看一下两个重要的接口，一个是LifecycleAware，另一个是Nam..
分类：
Web程序 时间：
2017-04-28 23:36:09
阅读次数：
268
Java NIO 管道是2个线程之间的单向数据连接。Pipe有一个source通道和一个sink通道。数据会被写到sink通道，从source通道读取。 这里是Pipe原理的图示： 创建管道 通过Pipe.open()方法打开管道。例如： 1 Pipe pipe = Pipe.open(); 1 P ...
分类：
编程语言 时间：
2017-04-28 20:31:32
阅读次数：
189
简介： 官网 http://flume.apache.org 文档 https://flume.apache.org/FlumeUserGuide.html hadoop 生态系统中，flume 的职责是收集数据，一般用作收集各种日志数据。 Source -> Channel -> Sink 这是一 ...
分类：
Web程序 时间：
2017-04-25 19:16:13
阅读次数：
329
我们可能都知道浏览器含有一个渲染引擎，用来渲染窗口所展示的内容。默认情况下，渲染引擎可以显示html、xml文档及图片，它也可以借助插件（一种浏览器扩展）显示其他类型数据，例如使用PDF阅读器插件，用于显示PDF格式。但是其具体的渲染原理和流程估计也有很多人都不知道或者不清楚吧。这些天研究了一下浏览 ...
分类：
其他好文 时间：
2017-04-12 03:08:25
阅读次数：
180
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。通过agent接收日志，然后暂存起来，再发送到目的地。3.agent里面包含3个核心组件：source、channel、sink。 3 ...
分类：
Web程序 时间：
2017-04-10 13:08:21
阅读次数：
178
