flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。一、什么是Flume? flume 作为 cloudera 开发的实时....
分类：
Web程序 时间：
2015-11-16 15:26:41
阅读次数：
207
kafka：(./kafka-server-start.sh ../config/server.properties &)flume：(bin/flume-ng agent -n agent -c conf -f conf/flume-node -Dflume.monitoring.type=htt...
分类：
其他好文 时间：
2015-11-16 10:46:09
阅读次数：
126
1、 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。2、一个独立的Flume进程称之为Agent,包含组件Source、Channel、Sink SourceFl...
分类：
Web程序 时间：
2015-11-09 20:53:59
阅读次数：
278
模板都是本人自己制作出来，希望能给大家带来作用。客户端配置文件（从服务端下载）zabbix_agentd.conf客户端软件zabbix_agents_2.0.3.linux2_6.amd64.tar.gz模板Template_MySQL.xml、Template_MySQL_Repl.xml1、添加zabbix用户与用户组vd14yywg01:~#groupaddzabbixvd14yywg01:..
分类：
数据库 时间：
2015-11-09 14:04:23
阅读次数：
264
服务端的安装可以查看：http://www.cnblogs.com/sunbeidan/p/4940147.html下载http://www.zabbix.com/downloads/2.0.3/zabbix_agents_2.0.3.linux2_6.i386.tar.gzhttp://www.z...
分类：
其他好文 时间：
2015-11-05 18:25:43
阅读次数：
207
采集层?主要可以使用Flume, Kafka两种技术。 Flume：Flume?是管道流方式，提供了很多的默认实现，让用户通过参数部署，及扩展API. Kafka：Kafka是一个可持久化的分布式的消息队列。 Kafka?是一个非常通用的系统...
分类：
Web程序 时间：
2015-11-05 16:57:29
阅读次数：
216
一、准备工作Heartbeat3.0.6:#wgethttp://hg.linux-ha.org/heartbeat-STABLE_3_0/archive/958e11be8686.tar.bz2ClusterGlue1.0.12:#wgethttp://hg.linux-ha.org/glue/archive/0a7add1d9996.tar.bz2ResourceAgents3.9.6:#wgethttps://github.com/ClusterLabs/resource-agents/ar..
分类：
其他好文 时间：
2015-11-02 12:24:53
阅读次数：
591
架构图数据流向图1.Flume 的一些核心概念：2.数据流模型Flume以agent为最小的独立运行单位。一个agent就是一个JVM。单agent由Source、Sink和Channel三大组件构成，如下图： Flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带....
分类：
数据库 时间：
2015-11-01 22:42:13
阅读次数：
505
转发自玖疯的博客 http://www.cnblogs.com/lxf20061900/p/3866252.html Spark Streaming是一个新的实时计算的利器，而且还在快速的发展。它将输入流切分成一个个的DStream转换为RDD，从而可以使用Spark来处理。它直接支持多种数据源.....
分类：
Web程序 时间：
2015-10-29 13:11:47
阅读次数：
328
本文章给大家介绍一个nginx服务器防sql注入/溢出攻击/spam及禁User-agents实例代码，有需要了解的朋友可进入参考。在配置文件添加如下字段即可代码如下复制代码server {## 禁SQL注入 Block SQL injectionsset $block_sql_injections...
分类：
数据库 时间：
2015-10-29 00:27:13
阅读次数：
265
