Flume – 初识flume、source和sink 目录基本概念常用源 Source常用sink 基本概念 ? 什么叫flume？ 分布式，可靠的大量日志收集、聚合和移动工具。 ? events 事件，是一行数据的字节数据，是flume发送文件的基本单位。 ? flume配置文件 重命名flum ...
分类：
Web程序 时间：
2018-08-13 21:00:40
阅读次数：
264
1、source为http模式，sink为logger模式，将数据在控制台打印出来。 conf配置文件如下： # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/c ...
分类：
Web程序 时间：
2018-08-08 14:57:25
阅读次数：
240
蓝牙和WIFI是ESP32的核心功能，蓝牙和wifi的共存也是esp32的独门武功，但时候后续也会发现共存的时候会有很多问题。不管怎样，蓝牙和wifi在esp-idf中有很多的例子，大家都可以参考。本篇只做简单的流程介绍。 1、蓝牙a2dp sink的初始化 蓝?牙是?一种短距通信系统，其关键特性包 ...
分类：
其他好文 时间：
2018-08-02 22:58:51
阅读次数：
1148
5.结构化流的输出 一旦定义好了streaming DataFrame/Dataset的最终结果,剩下的就是一些计算输出了.为此,必须使用 DataStreamWriter通过 Dataset.writeStream() 返回.此时必须以下一个或多个 输出落地 的详细信息: Data format, ...
分类：
其他好文 时间：
2018-07-08 00:29:28
阅读次数：
210
配置flume集群参考https://www.cnblogs.com/jifengblog/p/9277793.html load-balance负载均衡 介绍 负载均衡是用于解决一台机器(一个进程)无法解决所有请求而产生的一种算法。 Load balancing Sink Processor 能够 ...
分类：
Web程序 时间：
2018-07-07 20:52:50
阅读次数：
237
概述 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。 Flume 的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(chann ...
分类：
Web程序 时间：
2018-07-07 20:12:05
阅读次数：
181
1.优先队列：一种支持删除最大元素和插入元素两种操作的数据结构。 2.当一颗二叉树的每个结点都大于等于它的两个子结点时，它被称为堆有序。 3.根结点是堆有序的二叉树中的最大结点。 4.二叉堆是一组能够用堆有序的完全二叉树排序的元素，并在数组中按照层级储存（不使用数组的第一个位置）。 5.在一个二叉堆 ...
分类：
其他好文 时间：
2018-06-27 13:50:25
阅读次数：
123
Flume（一）Flume原理解析 阅读目录(Content) 一、Flume简介 二、Flume特点 三、Flume的一些核心概念 3.1、Agent结构 3.2、source 3.3、Channel 3.4、Sink 四、Flume拦截器、数据流以及可靠性 4.1、Flume拦截器 4.2、Fl ...
分类：
Web程序 时间：
2018-06-22 13:43:24
阅读次数：
251
http://www.cnblogs.com/34fj/p/8820094.html https://blog.csdn.net/lmalds/article/details/52400805 ...
分类：
数据库 时间：
2018-06-20 19:05:00
阅读次数：
540
gstreamer及相关插件编译完成后，会输出gst-inspect可执行文件，相关信息如下： ./gst-inspect-1.0 -h用法： gst-inspect-1.0 [选项...] [ELEMENT-NAME | PLUGIN-NAME] 帮助选项： -h, --help 显示帮助选项 - ...
分类：
其他好文 时间：
2018-06-19 16:27:14
阅读次数：
274
