一、FlumeNG核心概念二、FlumenNG数据流模型Flume以agent为最小的独立运行单位。一个agent就是一个JVM。单agent由Source、Sink和Channel三大组件构成。Flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位,它携带日志数据(字节数组形式)并且携带有头信息,这些Eve..
分类:
Web程序 时间:
2015-02-26 00:09:32
阅读次数:
1266
channel默认上是阻塞的,也就是说,如果Channel满了,就阻塞写,如果Channel空了,就阻塞读。阻塞的含义就是一直等到轮到它为止。单有时候我们会收到 fatal error: all goroutines are asleep - deadlock! 异常,这是如何呢? 代码例子: pa...
分类:
其他好文 时间:
2015-02-17 12:53:38
阅读次数:
153
Flume架构主要由3个组件,分别是Source,Channel和Sink,3个组件组成Event在Flume中得数据流向或者说流水线,功能可以由Flume的介绍看出:When a Flume source receives an event, it stores it into one or mo...
分类:
Web程序 时间:
2015-02-15 19:21:33
阅读次数:
320
通道之间的数据传输 在Java NIO中,如果两个通道中有一个是FileChannel,那你可以直接将数据从一个channel(译者注:channel中文常译作通道)传输到另外一个channel。? transferFrom()? FileChannel的transferF...
分类:
编程语言 时间:
2015-02-13 14:56:00
阅读次数:
178
织梦调用子栏目名称在栏目、文章页及首页的方法是有区别的。首页的调用方法和在栏目的调用基本是一样的,如下:{dede:channel typeid=''}[field:typename/]{/dede:channel}这是调用制定顶级栏目下的所有子栏目,适合首页、文章页及某些需要的频道。。调用本栏目下...
分类:
其他好文 时间:
2015-02-12 13:59:08
阅读次数:
136
这里就简单贴个配置吧,有问题欢迎留言探讨
sink的配置
##############################define [sink] begin##############################
#define the sink k1
a1.sinks.k1.type=hdfs
a1.sinks.k1.channel=c1
a1.sinks.k1.hdfs.useLoca...
分类:
Web程序 时间:
2015-02-11 10:58:51
阅读次数:
212
图灵机器人平台是一个免费的API开放平台,基于自然语言处理、知识库和云计算等技术,为广大开发者、合作伙伴提供的一系列智能语义处理能力(包括语义理解、智能问答、知识库对接等)的服务平台。api使用地址:http://www.tuling123.com/openapi/record.do?channel=50044
今天 我用图灵机器人开放的api做了一个简单的实时应答程序:)
robot.ph...
发布/订阅pub/sub
命令格式
时间复杂度
命令描述
返回值
publish channel message
O(N)
将信息message发送到指定的频道channel
收到信息message的订阅者数量
subscribe channel [channel ...]...
分类:
其他好文 时间:
2015-02-06 18:56:37
阅读次数:
149
JSch是Java Secure Channel的缩写。JSch是一个SSH2的纯Java实现。它允许你连接到一个SSH服务器,并且可以使用端口转发,X11转发,文件传输等,当然你也可以集成它的功能到你自己的应用程序。本文只介绍如何使用JSch实现的SFTP功能。SFTP是Secure File T...
分类:
编程语言 时间:
2015-02-05 18:16:09
阅读次数:
485
如:
$sql = "insert into article (`channel_id`,`title`,`detail`,`pub_time`) values ('{$cid}','{$title}','{$detail}','{$time}');";不加似乎也可以,加{}是什么意思呢?
还有字段名 为什么要以``包括呢?
===============================...
分类:
Web程序 时间:
2015-02-05 11:20:05
阅读次数:
177