Flume Event - Flume 事件 - 被定义为一个具有有效荷载的字节数据流和可选的字符串属性集。 Flume Agent- Flume - 代理 - 是一个进程承载从外部源事件流到下一个目的地的过程。 Source - 数据源 - 消耗外部传递给他的事件,外部源将数据按照Flume So ...
分类:
其他好文 时间:
2016-08-12 23:55:35
阅读次数:
225
首先需要通过一个配置文件来配置Agent。 通过flume提供的工具启动agent就可以工作了。 (1)编写配置文件 #example.conf:单节点Flume配置 #命名Agent a1的组件 a1.sources = r1 a1.sinks = k1 a1.channels = c1 #描述/ ...
分类:
其他好文 时间:
2016-08-12 23:55:18
阅读次数:
192
flume是分布式的,可靠的,用于从不同的来源有效收集 聚集 和 移动 大量的日志数据用以集中式的数据存储的系统。 是apache的一个顶级项目。 系统需求:jdk1.6以上,推荐java1.7 ...
分类:
Web程序 时间:
2016-08-12 23:54:21
阅读次数:
185
<?php header("Content-type:text/html;charset=utf-8"); function is_mobile(){ $user_agent = $_SERVER['HTTP_USER_AGENT']; $mobile_agents = Array("240x320 ...
分类:
移动开发 时间:
2016-08-10 12:47:51
阅读次数:
816
安装步骤:
1.版本介绍:
zookeeper3.4.6
flume-ng1.6
kafka2.10-0.8.2
storm0.9.5
2.安装zookeeper
1.下载最新release版zookeeper
http://zookeeper.apache.org/releases.html#download
2.修改zo...
分类:
Web程序 时间:
2016-08-10 09:58:06
阅读次数:
481
一、netcat source + memory channel + logger sink 1. 修改配置 1)修改$FLUME_HOME/conf下的flume-env.sh文件,修改内容如下 2)在$FLUME_HOME/conf目录下,创建agent子目录,新建netcat-memory-l ...
分类:
Web程序 时间:
2016-08-07 15:22:47
阅读次数:
231
一、Flume Flume是一个分布式的,可靠的,可用的,非常有效率的对大数据量的日志数据进行收集、聚集、移动信息的服务。 1. 架构方式 1)所有应用使用一台flume服务器; 2)所有应用共享flume集群; 3)每个应用使用一台flume,然后使用一个flume节点收集分散的flume数据; ...
分类:
Web程序 时间:
2016-08-06 11:22:04
阅读次数:
158
userAgentInfo.indexOf(Agents[v]): //A.indexOf(array[i]):A元素是否存在于数组array里面;如果存在就会返回对应的下标,如果不存在则返回-1. function IsPC(){ var userAgentInfo = navigator.use ...
分类:
其他好文 时间:
2016-08-04 22:53:40
阅读次数:
1073
本文环境如下:
操作系统:CentOS 7.2.1511 64位
Flume版本:1.6.0
1. 当Flume与Hadoop不在同一服务器上当Flume与Hadoop不在同一服务器上时,又配置了写HDFS,则Flume启动时会报找不到类的错误。
需要添加Hadoop相关的包到flume的classpath配置中(或者直接拷贝到flume的lib文件夹中)。
具体需要的包,我是在ma...
分类:
Web程序 时间:
2016-08-04 21:42:59
阅读次数:
2910
w3c reference : https://www.w3.org/TR/2014/REC-html5-20141028/introduction.html#writing-secure-applications-with-html HTML user agents (e.g. Web brows ...
分类:
Web程序 时间:
2016-08-03 20:01:40
阅读次数:
151