特性：No agents：不需要在被管控主机上安装任意客户端No server：无服务器端，使用时直接运行命令即可Modules in any languages：基于模块工作，可使用任意语言开发模块YAML，not code：使用yaml语言定制剧本playbookSSH by default：基...
分类：
其他好文 时间：
2015-07-21 23:47:14
阅读次数：
208
1、所有主机需要安装JDK，并配置JDK环境变量 2、所有主机安装SSH，并相互间实现无密访问 3、修改主机hosts :文件/etc/hosts，保证各机器通过机器名可以互访 4、安装python 2.6及以上（storm用） 5、ZeroMQ Java代...
分类：
Web程序 时间：
2015-07-20 17:06:59
阅读次数：
170
本文是作者研究Flume的一些内容摘要，包括Flume最新的版本及flume的相关组件介绍。...
分类：
Web程序 时间：
2015-07-16 00:54:03
阅读次数：
524
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字（如Oozie，ZooKeeper、Flume）。
Hadoop带来了廉价的处理大数据（大数据的数据容量通常是10-100GB或更多，同时数据种类多种多样，包括结构化、非结构化等）的能力。但这与之前有什么不同？
现今企业数据仓库和关系型数据库擅长处理结...
分类：
其他好文 时间：
2015-07-12 09:47:21
阅读次数：
149
各种组件，比如tomcat、storm、flume，我们都可以通过JMX方式开启远程调试，主要可以用来跟踪源码，了解程序内部的运行机制，其次，也有利于你修改源码。首先，本质上是要修改flume本身启动的配置文件的jvm配置部分。找到flume目录下的bin文件夹，下面会有个flume-ng文件，这便...
分类：
Web程序 时间：
2015-07-11 00:54:09
阅读次数：
819
目前有一个需求，就是Flume可以作为一个类似于tomcat的服务器，可以通过post请求进行访问，并且路径需要：ip:port/contextPath格式。经过一些资料获悉，httpSource只是httpSource的一个玩具工具，可以说毛坯版，目前仅仅支持的是按照ip:port访问，并不具备s...
分类：
Web程序 时间：
2015-07-10 00:03:28
阅读次数：
353
1.概述 在《Kafka实战－Flume到Kafka》一文中给大家分享了Kafka的数据源生产，今天为大家介绍如何去实时消费Kafka中的数据。这里使用实时计算的模型——Storm。下面是今天分享的主要内容，如下所示：数据消费Storm计算预览截图 接下来，我们开始分享今天的内容。2.数据消费 .....
分类：
其他好文 时间：
2015-07-09 12:59:06
阅读次数：
172
1、源码下载：我用的是1.6版，因为加了kafka-sink，下载地址http://www.apache.org/dyn/closer.cgi/flume/1.6.0/apache-flume-1.6.0-src.tar.gz2、解压缩至C盘根目录下建议放到这个目录下，其他目录并不能保证通过。3、运...
分类：
Web程序 时间：
2015-07-09 00:29:49
阅读次数：
192
http://www.aboutyun.com/thread-8917-1-1.html
分类：
Web程序 时间：
2015-07-08 22:56:06
阅读次数：
170
阅读过TechNet文档的人肯定对下面这张图不陌生，这张图完整诠释了整个Exchange2013的邮件传输架构，前一章里已经简要讨论过的几个组件都在里头，然而还有一些其他的组件也值得深入讨论。首先咱们来聊聊图里边出现的重要词汇。1、“代理”在这里是指Agents，而非是proxy，即处理..
分类：
其他好文 时间：
2015-07-08 00:48:47
阅读次数：
281
