Ansible是基于 paramiko 开发的,并且基于模块化工作，本身没有批量部署的能力。真正具有批量部署的是ansible所运行的模块，Ansible只是提供一种框架。Ansible不需要在远程主机上安装client/agents，因为它们是基于ssh来和远程主机通讯的。Ansible目前已经已经被红帽官方收购，是自动化运维工具中大家认可度最高的，并且上手容易，学习简单。是每位运维工程师必须掌握的技能之一。
分类：
其他好文 时间：
2018-11-17 20:49:22
阅读次数：
219
Flume是什么Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume的功能支持在日志系统中定制各类数据发送方，用于收集数据提供对数据简单处理，并写到各类数据接收方（可定制）的能力Flume的组成Agent:
分类：
Web程序 时间：
2018-11-16 20:47:12
阅读次数：
168
实现如图的的效果(详细步骤请参考官方文档(http://flume.apache.org/FlumeUserGuide.html),flume更新版本比较快) flume1.conf的配置文件内容 flume2.conf的配置文件内容 参考官方文档截图如下 详细配置如下 ...
分类：
Web程序 时间：
2018-11-15 22:37:55
阅读次数：
285
大数据学习路径我vx①⑤零零③④③⑥⑨③①备注A更多大数据第一阶段linux+搜索+hadoop体系Linux基础→shell编程→高并发架构→lucene,solr搜索→hadoop体系→HDFS→mapreduce→hbase→zookeeper→hive→flume→sqoop→项目实战一第二阶段机器学习R语言→mahout→项目实战二第三阶段storm流式计算kafka→storm→red
分类：
其他好文 时间：
2018-11-13 20:36:33
阅读次数：
180
1>.Caused by: org.apache.kafka.common.errors.NetworkException: The server disconnected before a response was received. ...
分类：
Web程序 时间：
2018-11-13 11:37:51
阅读次数：
553
一、flume特点 flume是目前大数据领域数据采集的一个利器，当然除了flume还有Fluentd和logstash，其他的目前来说并没有深入的了解，但是我觉得flume能够在大数据繁荣的今天屹立不倒，应该有以下几点： 1. Flume可以将应用产生的数据存储到任何集中存储器中，完美的介入HDF ...
分类：
Web程序 时间：
2018-11-12 17:36:19
阅读次数：
239
Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.9.4。 中，日志传输不稳定的现象尤为严重，为了解决这些问题，2011 年 10 月 22 号，cloudera 完成了 Flume-728，对 Flume 进行了里程碑式的改动：重构核心组件、核心配置以及代码架构，重构后的版本统称为 Flume NG（next generation）；改动的另一原因是将 Flume 纳入 apache 旗下，cloudera Flume 改名为 Apache Flume。
分类：
Web程序 时间：
2018-11-11 17:58:27
阅读次数：
283
官方文档介绍：http://flume.apache.org/FlumeUserGuide.html#flume-sources。Flume Sources 描述。
分类：
Web程序 时间：
2018-11-11 17:58:18
阅读次数：
181
单一代理流配置。通过一个通道将来源和接收器链接。需要列出源，接收器和通道，为给定的代理，然后指向源和接收器及通道。一个源的实例可以指定多个通道，但只能指定一个接收器实例。格式如下：
分类：
Web程序 时间：
2018-11-11 17:53:51
阅读次数：
166
需求：从指定网络端口采集数据输出到控制台 使用flume的关键就是写配置文件 a）配置source b）配置channel c）配置sink d）把以上三个组件串起来 我们看一下官网给的配置文件 ...
分类：
Web程序 时间：
2018-11-08 18:19:03
阅读次数：
194
