线段树优化建图+费用流 朴素的做法是每个强盗直接对每个区间的每个点连边，然后跑最大权匹配，这样有5000*5000条边，肯定过不去，那么我们用线段树优化一下，因为线段树能把一个O(n)的区间划分为O(logn)段 然后就建一棵线段树，每个节点向两个儿子连(inf,0)的边，叶子结点连向sink，(1 ...
分类：
其他好文 时间：
2017-09-16 12:03:30
阅读次数：
249
Flume Sink的目的是从Flume Channel中获取数据然后输出到存储或者其他Flume Source中。Flume Agent启动的时候，它会为每一个Sink都启动一个SinkRunner的对象，SinkRunner.start()方法会启动一个新的线程去管理每一个Sink的生命周期。每 ...
分类：
Web程序 时间：
2017-09-13 23:18:54
阅读次数：
325
从总体上看：akka-stream是由数据源头Source，流通节点Flow和数据流终点Sink三个框架性的流构件（stream components）组成的。这其中：Source和Sink是stream的两个独立端点，而Flow处于stream Source和Sink中间可能由多个通道式的节点组成 ...
分类：
其他好文 时间：
2017-09-09 13:08:18
阅读次数：
249
一、概述1.通过搭建高可用flume来实现对数据的收集并存储到hdfs上，架构图如下：二、配置Agent1.catflume-client.properties#namethecomponentsonthisagent声明source、channel、sink的名称
a1.sources=r1
a1.sinks=k1k2
a1.channels=c1
#Describe/configurethesource声明sour..
分类：
Web程序 时间：
2017-09-04 15:13:56
阅读次数：
371
目标：Flume实时监控目录sink到hdfs，再用sparkStreaming监控hdfs的这个目录，对数据进行计算 1、flume的配置，配置spoolDirSource_hdfsSink.properties，监控本地的一个目录，上传到hdfs一个目录下。 agent1.channels = ...
分类：
Web程序 时间：
2017-09-02 10:39:54
阅读次数：
315
在现实中我们会经常遇到这样的场景：有一个固定的数据源Source，我们希望按照程序运行状态来接驳任意数量的下游接收方subscriber、又或者我需要在程序运行时（runtime）把多个数据流向某个固定的数据流终端Sink推送。这就涉及到动态连接合并型Merge或扩散型Broadcast的数据流连接 ...
分类：
其他好文 时间：
2017-08-31 11:09:32
阅读次数：
225
Flume NG集群+Kafka集群整合： 修改Flume配置文件（flume-kafka-server.conf），让Sink连上Kafka hadoop1: hadoop2: 集群测试： hadoop3： hadoop1： 测试完毕，这样Flume+kafka就整合起来了，即Flume+Kafk ...
分类：
Web程序 时间：
2017-08-27 14:06:04
阅读次数：
298
/*管道（Pipe）*/ Java NIO 管道是 /*2 个线程*/ 之间的 /*单向*/数据连接 Pipe 有一个 source 通道 和 一个 sink 通道。数据会被写到 sink 通道，从source通道读取 Thread A > SinkChannel(Pipe) > SourceCha ...
分类：
其他好文 时间：
2017-08-26 18:24:21
阅读次数：
130
Flume NG概述： Flume NG是一个分布式，高可用，可靠的系统，它能将不同的海量数据收集，移动并存储到一个数据存储系统中。轻量，配置简单，适用于各种日志收集，并支持 Failover和负载均衡。其中Agent包含Source，Channel和 Sink，三者组建了一个Agent。三者的职责 ...
分类：
Web程序 时间：
2017-08-26 17:01:20
阅读次数：
246
akka-stream的数据流可以由一些组件组合而成。这些组件统称数据流图Graph，它描述了数据流向和处理环节。Source,Flow,Sink是最基础的Graph。用基础Graph又可以组合更复杂的复合Graph。如果一个Graph的所有端口（输入、输出）都是连接的话就是一个闭合流图Runnab ...
分类：
其他好文 时间：
2017-08-21 14:00:31
阅读次数：
238
