Java NIO 管道是2个线程之间的单向数据连接。Pipe有一个source通道和一个sink通道。数据会被写到sink通道，从source通道读取。 如下图: 向管道写数据: 从管道读数据: 1. 从读取管道的数据，需要访问source通道。 2. 调用source通道的read()方法来读取数 ...
分类：
编程语言 时间：
2017-04-08 23:56:47
阅读次数：
435
package me; import static org.mockito.Matchers.booleanThat; import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; i... ...
分类：
数据库 时间：
2017-03-30 13:32:50
阅读次数：
344
在HDFS中，文件只作为目录项存在，在文件关闭前，其长度一直显示为0。如果在一段时间内将数据写到文件中，但却没有将其关闭，那么一旦客户端出现网络中断，什么都得不到，只有一个空白的文件。 Flume的agent由三个部件构成：source、channel、sink. 其结构图如下： 三者之间的关系如下 ...
分类：
Web程序 时间：
2017-03-24 00:01:23
阅读次数：
286
Flume与Logstash相比，个人的体会如下： Logstash比较偏重于字段的预处理；而Flume偏重数据的传输； Logstash有几十个插件，配置灵活；FLume则是强调用户的自定义开发（source和sink的种类也有一二十个吧，channel就比较少了）。 Logstash的input ...
分类：
Web程序 时间：
2017-03-22 00:38:22
阅读次数：
185
版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]一、TransactioninterfaceTransaction接口是基于flume的稳定性考虑的。所有主要的组件（sources、sinks、channels)都必须使用FlumeTransaction。我们也可以理解Transaction接口就是flume的事务，sources和sinks..
分类：
Web程序 时间：
2017-03-15 19:19:00
阅读次数：
281
在实际使用中发现Flume内置的基于正则的解析方式非常耗时，有非常大的提升空间。如果你不需要配置按时间戳解析时间，那这篇文章对你用处不大，hdfs sink对应的解析时间戳的代码位于org.apache.flume.sink.hdfs.HDFSEventSink的process()方法中，涉及两句代 ...
分类：
Web程序 时间：
2017-03-14 19:35:03
阅读次数：
250
Flume介绍 http://flume.apache.org/FlumeUserGuide.html 一、Flume架构图 <!--more--> 含义 Source 规定收集数据的来源 Channel 相当于一个管道，连接source和sink Sink flume agent收集到数据后，数据 ...
分类：
Web程序 时间：
2017-03-12 16:44:36
阅读次数：
215
原文地址：https://kubernetes.cn/topics/46 API Server 和 PVController API Server: 这个组件提供对API的支持，响应REST操作，验证API模型和更新etcd中的相应对象 PVController: 是ontroller.volume ...
分类：
其他好文 时间：
2017-03-08 19:05:04
阅读次数：
369
本文主要介绍使用Flume传输数据到MongoDB的过程，内容涉及环境部署和注意事项。 一、环境搭建 1、flune-ng下载地址：http://www.apache.org/dyn/closer.cgi/flume/1.5.2/apache-flume-1.5.2-bin.tar.gz2、mong ...
分类：
数据库 时间：
2017-03-07 22:33:25
阅读次数：
234
一个Fact通过Session添加到规则网络中，如何进行规则匹配的大致过程如下 （1）通过根结点对象从EntryPointNode的Map集合中找到相应的EntryPointNode对象 （2）EntryPointNode对象有一个ObjectTypeNode的Map集合，把fact的class转化 ...
分类：
编程语言 时间：
2017-02-07 20:46:52
阅读次数：
353
