flume负载均衡配置 集群DNS配置如下： hadoop-maser 192.168.177.162 machine-0192.168.177.158 machine-1191.168.177.167 配置主Flume，在hadoop-maser机上。配置文件为loadbalance.proper ...
分类：
Web程序 时间：
2016-08-03 18:11:04
阅读次数：
187
下载与解压 下载zabbix_agents_2.2.0 http://www.zabbix.com/downloads/2.2.0/zabbix_agents_2.2.0.win.zip 解压到C盘下面, 安装不一定解压到C盘下面, 但是配置文件一定在C盘根目录下 进入文件夹后看到的是 conf目录... ...
function IsPC(){ var userAgentInfo = navigator.userAgent;//使用navigator.userAgent来判断浏览器类型。 var Agents = new Array("Android", "iPhone", "SymbianOS", "Wi ...
分类：
其他好文 时间：
2016-07-30 11:55:51
阅读次数：
102
今天作者要在这里通过一个简单的电商网站订单实时分析系统和大家一起梳理一下大数据环境下的实时分析系统的架构模型。当然这个架构模型只是实时分析技术的一个简单的入门级架构，实际生产环境中的大数据实时分析技术还涉及到很多细节的处理, 比如使用Storm的ACK机制保证数据都能被正确处理, 集群的高可用架构，消费数据时如何处理重复数据或者丢失数据等问题，根据不同的业务场景，对数据的可靠性要求以及系统的复杂度的要求也会不同。这篇文章的目的只是带大家入个门，让大家对实时分析技术有一个简单的认识，并和大家一起做学习交流。...
分类：
Web程序 时间：
2016-07-24 07:03:36
阅读次数：
2399
Flume简介
Flume安装1. 解压 flume安装包到 /itcast/ 目录下
tar -zxvf /*flume安装包*/ /itcast/2. 修改 flume配置文件：2.1 flume-env.sh修改文件名称：
mv flume-env.sh.template flume-env.sh添加java_home，保证flume所使用的jdk和hdfs是一样的（可以...
分类：
Web程序 时间：
2016-07-22 19:14:48
阅读次数：
216
我们都希望，配置文件是从一个服务引出，然后客户端监听服务端变化，实时重启自身加载最新配置，这样，我们就不用维护每个独立的客户端配置，更新也变得非常简单，而flume，显然意识到了这一个巨大的实惠，他是支持配置文件交由zookeeper维护的，这样我们在修改配置时，flume会自动重新加载。1，zookeeper 添加节点 我们利用博客《使用zkweb维护zookeeper数据》中介绍...
分类：
Web程序 时间：
2016-07-22 19:10:55
阅读次数：
176
问题导读：
1.node向master发送心跳之后等待反馈的最大时长由哪个参数来决定，默认多长时间？
2.当primary sink(可以认为是第一collector)故障后，重启primary sink的一个延迟时间，在此期间，agent将把数据发送到secondary sink(可能是第二collector)由哪个参数来决定？
3.collector的默认发送目录通过哪个参数可以配置？
...
分类：
Web程序 时间：
2016-07-21 13:06:13
阅读次数：
538
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力
。
一、什么是Flume?
flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为...
分类：
Web程序 时间：
2016-07-21 13:03:09
阅读次数：
436
大数据我们全知道hadoop，但并不全都是hadoop。我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用storm，那么storm和什么技术搭配，才能做一个适合自己的项目。 1.一个好的项目架构应该具备什么特点？ 2.本项目架 ...
分类：
Web程序 时间：
2016-07-19 18:25:07
阅读次数：
215
Flume是一种高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 可以看一下模型： 每一个flume代理(agent)可以提供一项flume服务。每一个代理有三个成员：source、channel、sink 如上图所示，由source获取数据并发送给channel，channel就好比一 ...
分类：
数据库 时间：
2016-07-18 03:05:15
阅读次数：
300
