环境变量： 命令行里可以执行相应的命令 这些命令就是一些可执行的文件 当在命令行执行命令的时候， 系统会根据环境变量里设置的PATH的值 查询所有的目录去寻找相应的可执行文件 数据采集（flume，storm）数据存储（HDFS）数据处理（MapReduce，Hive，Spark）数据分析（Maho ...
分类：
其他好文 时间：
2016-06-30 16:30:49
阅读次数：
169
Flume基本操作 1.把Telnet产生的内容写入到控制台显示 a.conf内容如下： 2.把hive中产生的log写入到hdfs flume-hive.conf内容如下： 如果是HA架构需要把HA的core-site.xml与hdfs-site.xml放入到/opt/modules/cdh/fl ...
分类：
Web程序 时间：
2016-06-30 14:17:08
阅读次数：
254
1.从官网下载zabbixagent的安装包http://www.zabbix.com/downloads/3.0.0/zabbix_agents_3.0.0.win.zip2.在C盘下创建zabbix文件夹，将zabbix_agents_3.0.0.win.zip解压到C:\zabbix下Bin文件夹里有32位和64位的程序,请安装自己的系统来选择3.修改conf文件夹下的zabbix_agentd.wi..
一般agent的模块主要由Neutron api、core plugin（如linux bridge plugin，ovs plugin等）、XX agent scheduler、XX agent、XX driver（dnsmasq）构成. 在控制节点敲命令neutron agent-list, 可 ...
分类：
其他好文 时间：
2016-06-28 17:02:22
阅读次数：
452
一、简介Ansible是与puppet、saltstack类似的集群管理工具，其优点是仅需要ssh和Python即可使用，而不像puppet、saltstack那样都需要客户端。puppet与saltstack这2个软件都需要安装客户端，而saltstack与ansible很相似，都是属于python流的，但saltstack不是很稳定；puppet虽然..
分类：
其他好文 时间：
2016-06-27 12:29:29
阅读次数：
204
一些需求是原生Flume无法满足的，因此，基于开源的Flume我们增加了许多功能。 EventDeserializer的缺陷 Flume的每一个source对应的deserializer必须实现接口EventDeserializer，该接口定义了readEvent/readEvents方法从各种日志 ...
分类：
Web程序 时间：
2016-06-26 21:13:10
阅读次数：
625
一个稳定可靠的系统离不开监控，我们不仅监控服务是否存活，还要监控系统的运行状况。运行状况主要是对这些组件的核心metrics采集、抓取、分析和报警。 一、监控的数据 监控的日志数据一般包括： v APP、PC、Web 等系统运行Log：采用Flume-NG搜集 v 用户日志 : 采用Flume-NG ...
分类：
其他好文 时间：
2016-06-26 21:05:08
阅读次数：
224
在很多情况下，我们为了不丢失数据，一般都会为数据收集端扩展断点续传，而随着公司日志系统的完善，我们在原有的基础上开发了断点续传的功能，以下是思路，大家共同讨论：核心流程图： 源码：/*
* 作者：许恕
* 时间：2016年5月3日
* 功能：实现tail 某目录下的所有符合正则条件的文件
* Email：xvshu1@163.com
* T...
分类：
Web程序 时间：
2016-06-24 15:34:02
阅读次数：
291
Flume：Flume是一个分布式，可依赖的，用于高效率的收集、聚类、移动大量数据的服务。Flume使用基于流数据的简单而且可扩展的架构。由于拥有可调的依赖机制和许多故障恢复机制，Flume是健壮而且容错的。Flume使用简单的可扩展的数据模型，能够用于在线数据分析。 官网：http://flume ...
分类：
Web程序 时间：
2016-06-23 16:05:34
阅读次数：
172
本文系微博运维数据平台（DIP）在Flume方面的优化扩展经验总结，在使用Flume FileChannel的场景下将吞吐率由10M/s~20M/s提升至80M/s~90M/s，分为四个部分进行介绍： 应用场景 Flume实例架构 Flume调试及优化扩展 Flume Todo 生产环境部署 1. ...
分类：
Web程序 时间：
2016-06-21 12:16:52
阅读次数：
2259
