码迷,mamicode.com
首页 >  
搜索关键字:sink    ( 408个结果
IO的详细解释:It's all about buffers: zero-copy, mmap and Java NIO
There are use cases where data need to be read from source to a sink without modification. In code this might look quite simple: for example in Java, ...
分类:编程语言   时间:2019-04-19 17:56:21    阅读次数:163
flink with rabbitmq,sink source mysql redis es
flink-dockerhttps://github.com/melentye/flink-docker https://shekharsingh.com/blog/2016/11/12/apache-flink-rabbimq-streams-processor.html http://www.5 ...
分类:数据库   时间:2019-04-16 10:41:23    阅读次数:334
【原创】大数据基础之Flume(2)Sink代码解析
flume sink核心类结构 1 核心接口Sink org.apache.flume.Sink process为核心接口,返回值为状态,只有两个:ready和backoff,调用方会根据返回值做相应处理,后边会看到;这个接口也是扩展flume sink需要实现的接口,比如KuduSink; 2 S ...
分类:Web程序   时间:2019-03-21 12:04:24    阅读次数:272
Flink RichSourceFunction应用,读关系型数据(mysql)数据写入关系型数据库(mysql)
1. 写在前面 Flink被誉为第四代大数据计算引擎组件,即可以用作基于离线分布式计算,也可以应用于实时计算。Flink的核心是转化为流进行计算。Flink三个核心:Source,Transformation,Sink。其中Source即为Flink计算的数据源,Transformation即为进行 ...
分类:数据库   时间:2019-03-20 21:02:59    阅读次数:434
简单模拟flume
NetCat方式: 远程访问的方式进行消息传递 配置一个Agent,主要配置三个组件: source, channel, sink 上图中为什么channel会带s,变成channels? 可以绑定多个 可以这么写 a1.sources.r1.channels=c1 c2 c3 但是sink只能接收 ...
分类:Web程序   时间:2019-03-12 23:56:45    阅读次数:331
Flume
1、Flume 2、Flume角色 3、flume使用 4、flume安装配置 5、flume监听端口 6、flume监听本地linux文件采集到hdfs 7、监听文件夹 8、多个channel/sink ...
分类:Web程序   时间:2019-03-09 19:01:45    阅读次数:214
HDMI接口之HPD(热拔插)
HDMI (Pin 19)/DVI(Pin16)的功能是热插拔检测(HPD),这个信号将作为HDMI 源端(Source)是否发起EDID读,是否开始发送TMDS信号的依据。HPD是从HDMI显示器端(Sink)生成并输出送往HDMI 源端(Source)的一个检测信号。热插拔检测的作用是当显示器等 ...
分类:其他好文   时间:2019-02-16 12:05:53    阅读次数:336
基于Flume做FTP文件实时同步到本地磁盘的windows服务。
需求:做一个windows服务,实现从ftp服务器实时下载或者更新文件到本地磁盘。 功能挺简单的。直接写个ftp工具类用定时器跑就能搞定,那我为什么不用呢? 别问,问就是我无聊啊,然后研究一下Flume打发时间。哈哈~ 一、Flume部分 Source组件和Sink组件用的都是第三方。 source ...
分类:Windows程序   时间:2019-01-27 19:19:24    阅读次数:421
Flume整合Kafka完成实时数据采集
agent选择 agent1 exec source + memory channel + avro sink agent2 avro source + memory channel 模拟实际工作中的场景,agent1 为A机器,agent2 为B机器。 avro source: 监听avro端口, ...
分类:Web程序   时间:2019-01-27 14:37:21    阅读次数:239
Ffmpeg音频转码 卡顿(MP2转AAC)
最好经手一个小的功能将mp2实时流转成AAC并发布成rtmp音频流,本身不是很难的一个需求, 一个晚上就能将功能开发好。功能开发完毕后,找来一音频文件利用Ffmpeg命令将音视频文件推成 实时udp格式音频流,具体的推送命令是: 测试程序以udp://127.0.0.1:1234为输入源,rtmp: ...
分类:其他好文   时间:2019-01-25 22:43:51    阅读次数:388
408条   上一页 1 ... 7 8 9 10 11 ... 41 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!