#只适用linux2.6内核64位版本，自行修改下载所需版本#!/bin/bash
cd/opt
useraddzabbix
wget-chttp://www.zabbix.com/downloads/3.0.0/zabbix_agents_3.0.0.linux2_6_23.amd64.tar.gz
tarzxfzabbix_agents_3.0.0.linux2_6_23.amd64.tar.gz
sed-i‘s/127.0.0.1/10.7.0.208/g‘/opt..
分类：
其他好文 时间：
2016-06-20 16:00:05
阅读次数：
149
机器列表：192.168.137.115slave0（agent）
192.168.137.116slave1（agent）
192.168.137.117slave2（agent）
192.168.137.118slave3（collector）
192.168.137.119slave4（collector）在每个机器上创建目录mkdir-p/home/qun/data/flume/logsmkdir-p/home/qun/data/flume/datam..
分类：
Web程序 时间：
2016-06-14 19:44:14
阅读次数：
729
*目的是为了防采集。需要对网站的日志信息，进行一个实时的IP访问监控。1、kafka版本是最新的0.10.0.02、spark版本是1.613、下载对应的spark-streaming-kafka-assembly_2.10-1.6.1.jar放到spark目录下的lib目录下4、利用flume将nginx日志写入到kafka（后续补充）5、编写python..
分类：
Web程序 时间：
2016-06-13 19:28:08
阅读次数：
1223
关于大数据的实时流处理，AWS提供了传统方案和完全host方案
传统方案是EC2上面部署flume （采集）、kafka（数据转存）、storam（流处理）完全host方案是Kinesis。使用Kinesis还是需要用户通过API来将手机、网站点击、IoT、传感器等各类数据源的数据接入，并允许用户编写Kinesis的Worker来处理...
分类：
其他好文 时间：
2016-06-12 02:57:31
阅读次数：
847
场景1. flume是什么1.1 背景 flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后...
分类：
Web程序 时间：
2016-06-03 19:53:06
阅读次数：
646
Flume作为一个日志收集工具，在数据采集方面，展现出了非常强大的能力。...
分类：
Web程序 时间：
2016-06-02 14:56:43
阅读次数：
875
我们将通过包括本文章在内的2-3篇文章的篇幅，利用已经学习过的技术知识向大家介绍事件/日志收集系统的半侵入方案和非侵入式方案。当然中间还会穿插一些新技术的介绍，比如Apache Flume。...
分类：
其他好文 时间：
2016-06-01 00:17:09
阅读次数：
278
1.在Windows上创建目录: C:\Windows\zabbix\ 2.下载安装包并解压到新建的目录 3.下载地址：http://www.zabbix.com/downloads/3.0.0/zabbix_agents_3.0.0.win.zip 4.修改配置文件C:\Windows\zabbi ...
在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程：
从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。
（一）Flume架构介绍
1、Flume的概念
flume是分布式的日志...
分类：
Web程序 时间：
2016-05-31 17:25:25
阅读次数：
324
最近在学习大数据的离线分析技术，所以在这里通过做一个简单的网站点击流数据分析离线系统来和大家一起梳理一下离线分析系统的架构模型。当然这个架构模型只能是离线分析技术的一个简单的入门级架构，实际生产环境中的大数据离线分析技术还涉及到很多细节的处理和高可用的架构。这篇文章的目的只是带大家入个门，...
分类：
Web程序 时间：
2016-05-31 06:32:23
阅读次数：
621
