基本输入输出 输入： readline, edit, fix 输出： print, cat 输出重定向 sink 模拟数据和数据集 文件数据源 文本文件： read.table, read.csv, read.delim excel文件： 多种方式 SPSS文件： foreign::read.sps ...
分类：
编程语言 时间：
2016-09-13 13:38:45
阅读次数：
1086
Amaze UI 框架：官方网址 http://amazeui.org/ 演示地址 http://t.amazeui.org/kitchen-sink/#/ 该UI框架提供了 桌面系统WEB框架 和 移动应用WEB框架 ...
分类：
其他好文 时间：
2016-09-08 14:24:53
阅读次数：
473
前面已经介绍了如何利用Thrift Source生产数据，今天介绍如何用Kafka Sink消费数据。 其实之前已经在Flume配置文件里设置了用Kafka Sink消费数据 那么当Flume的channel收到数据的时候，会根据配置文件主动把数据event发送到Kafka的broker上，所以只要 ...
分类：
Web程序 时间：
2016-08-30 01:45:16
阅读次数：
258
Flume简介与使用（一） Flume简介 Flume是一个分布式的、可靠的、实用的服务——从不同的数据源高效的采集、整合、移动海量数据。 分布式：可以多台机器同时运行采集数据，不同Agent的之前通过网络传输数据 可靠的：Flume会将采集的数据缓存在Channel里，当Sink确认数据被接收了后 ...
分类：
Web程序 时间：
2016-08-26 15:16:04
阅读次数：
197
1.概述 Sink Group允许用户将多个Sink组合成一个实体。 Flume Sink Processor 可以通过切换组内Sink用来实现负载均衡的效果，或在一个Sink故障时切换到另一个Sink。 sinks – 用空格分隔的Sink集合 processor.type default 类型名 ...
分类：
其他好文 时间：
2016-08-13 01:11:04
阅读次数：
131
选择器可以工作在复制 多路复用(路由) 模式下 属性说明： selector.type replicating 类型名称，必须是 replicating selector.optional – 标志通道为可选 案例： 参看avro sink案例 属性说明： selector.type 类型，必须是" ...
分类：
其他好文 时间：
2016-08-13 01:10:22
阅读次数：
203
记录INFO级别的日志，通常用于调试。 属性说明： !channel – !type – The component type name, needs to be logger maxBytesToLog 16 Maximum number of bytes of the Event body to ...
分类：
其他好文 时间：
2016-08-13 01:04:56
阅读次数：
213
一、netcat source + memory channel + logger sink 1. 修改配置 1）修改$FLUME_HOME/conf下的flume-env.sh文件，修改内容如下 2）在$FLUME_HOME/conf目录下，创建agent子目录，新建netcat-memory-l ...
分类：
Web程序 时间：
2016-08-07 15:22:47
阅读次数：
231
问题导读：
1.node向master发送心跳之后等待反馈的最大时长由哪个参数来决定，默认多长时间？
2.当primary sink(可以认为是第一collector)故障后，重启primary sink的一个延迟时间，在此期间，agent将把数据发送到secondary sink(可能是第二collector)由哪个参数来决定？
3.collector的默认发送目录通过哪个参数可以配置？
...
分类：
Web程序 时间：
2016-07-21 13:06:13
阅读次数：
538
Flume是一种高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 可以看一下模型： 每一个flume代理(agent)可以提供一项flume服务。每一个代理有三个成员：source、channel、sink 如上图所示，由source获取数据并发送给channel，channel就好比一 ...
分类：
数据库 时间：
2016-07-18 03:05:15
阅读次数：
300
