采集数据到kafka，然后再通过flume将数据保存到hdfs上面。在这个过程当中出现了一堆的问题。 （1）一直是提醒说必须指定topic，然后发现我kafka用的是0.9.0.1，然而我的flume用的是1.6.然后将flume的版本调为1.7之后问题解决了。 （2）flume能够正常启动。然而这 ...
分类：
Web程序 时间：
2017-11-15 22:06:39
阅读次数：
397
#zabbix客户端安装[zabbix客户端下载地址]http://www.zabbix.com/downloads/3.0.4/zabbix_agents_3.0.4.win.zip解压到C:\zabbix目录下修改配置文件c:\zabbix\conf\zabbix_agentd.win.conf```bash#124.207.65.***为zabbix-server的地址Server=127.0.0.1,124.207.65.***#每个被监..
https://github.com/cloudera/flume/blob/master/flume-docs/src/docs/UserGuide/Introduction ...
分类：
其他好文 时间：
2017-11-11 11:37:26
阅读次数：
240
SaltStack 调用API WAF安全 nginx_lua WAF Logstash flume fluentd logstash 实时： stom kafka 架构： flume + stom + kafka + hdfs 应用部署更新 rundesk Piwik流量分析 piwik Zabb ...
分类：
其他好文 时间：
2017-11-10 18:48:27
阅读次数：
207
1、Kafka概览 Apache下的项目Kafka(卡夫卡)是一个分布式流处理平台，它的流行是因为卡夫卡系统的设计和操作简单，能充分利用磁盘的顺序读写特性。kafka每秒钟能有百万条消息的吞吐量，因此很适合实时的数据流处理。例如kafka在线日志收集系统可作为flume的实时消息sink端，再通过k ...
分类：
其他好文 时间：
2017-11-10 17:01:22
阅读次数：
344
（一）概述zabbixproxy可以代替zabbixserver收集性能和可用性数据,然后把数据汇报给zabbixserver,并且在一定程度上分担了zabbixserver的压力.此外，当所有agents和proxies报告给一个Zabbixserver并且所有数据都集中收集时，使用proxy是实现集中式和分布式监控的最简单方法。zab..
分类：
其他好文 时间：
2017-11-07 23:03:15
阅读次数：
1230
a1.sources = r1 a1.sinks = s1 a1.channels = c1 a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 a1.sinks.s1.type ...
分类：
Web程序 时间：
2017-11-07 19:49:39
阅读次数：
227
在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 ...
分类：
Web程序 时间：
2017-11-06 21:27:05
阅读次数：
188
Flume 是什么 Apache Flume是一个高可靠、高可用的分布式的海量日志收集、聚合、传输系统。它可以从不同的日志源采集数据并集中存储。 Flume也算是Hadoop生态系统的一部分，源于Cloudera，目前是Apache基金会的顶级项目之一。Flume有两条产品线，0.9.x版本和1.x ...
分类：
移动开发 时间：
2017-11-06 21:25:19
阅读次数：
218
写入到hive里 a1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = execa1.sources.r1.channels = c1a1.sources.r1. ...
分类：
Web程序 时间：
2017-11-03 18:52:37
阅读次数：
179
