业务场景：需求：通过flume进行数据采集，将本地(windows服务器)不断产生的csv文件采集到hdfs上。问题：本地文件在生成的过程中，会出现文件名重复的现象。也就是说，在前一秒生成文件名为aaa.csv,该文件经过flume进行处理之后会进行文件名的更改，默认情况下文件名会更改为aaa.cs... ...
分类：
Web程序 时间：
2020-01-23 09:14:02
阅读次数：
290
记录一下日志采集框架flume的相关内容，flume是由Cloudera开发，后面贡献给了Apache，是一个分布式的、稳定的，用于日志采集、汇聚和传输的系统，现在用的一般是1.x版本，老版本的因为用得少暂时不考虑。 基本概念 包括agent和event。 Agent 以下是数据流模型图，sourc ...
分类：
Web程序 时间：
2020-01-22 23:36:22
阅读次数：
130
本文基于Docker搭建一套单节点的Kafka消息队列，Kafka依赖Zookeeper为其管理集群信息，虽然本例不涉及集群，但是该有的组件都还是会有，典型的kafka分布式架构如下图所示。本例搭建的示例包含Zookeeper + Kafka + Kafka-manger #获取镜像 · zooke ...
分类：
其他好文 时间：
2020-01-22 22:01:38
阅读次数：
64
kafka安装配置 1.集群规划 jar包下载 http://kafka.apache.org/2downloads.html 2.集群部署 1）解压安装包 2）修改解压后的文件名称(可选) 3）在/opt/module/kafka目录下创建logs文件夹 4）修改配置文件 输入以下内容： 5）配置 ...
分类：
其他好文 时间：
2020-01-22 16:16:55
阅读次数：
82
作为开发人员，我们在选择一个框架或者工具时，我们都需要考虑些什么，我们不是头脑发热，一拍脑袋就它了，我们首先要认清这个框架或工具的作用是什么，能给我们带来什么样的好处，同时也要考虑带来什么样的负面结果，我们在使用时才能更好的扬其长避其短，kafka大家可能都不陌生，到底我们为什么选择kafka呢？ ...
分类：
其他好文 时间：
2020-01-22 12:32:08
阅读次数：
77
目录 一、背景 二、Flume的简介 三、Flume NG的介绍 3.1 Flume特点 3.2 Flume的一些核心概念 3.3 Flume NG的体系结构 3.4 Source 3.5 Channel 3.6 Sink 四、Flume的部署类型 4.1 单一流程 4.2 多代理流程（多个agen ...
分类：
Web程序 时间：
2020-01-22 10:51:06
阅读次数：
131
[toc] 学习文档参考：http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html 1.Flume是什么? Flume简单概括就是一个收集日志的工具，它可以通过调用接口，RPC，还有网页的一些操作进行日志的收集。它是一个分布 ...
分类：
Web程序 时间：
2020-01-22 10:48:01
阅读次数：
158
kafka-consumer参数配置 以及默认值参数配置以及默认值Consumer 一些概念消费者 Consumerkafka 消费者，消费kafka队列里的消息，可以有多种语言实现， python java scala Go …,consumer group 即是由多个独立消费者组成，消费 Top... ...
分类：
其他好文 时间：
2020-01-21 23:50:29
阅读次数：
150
安装与配置 1.使用Xshell上传kafka压缩包到linux 2.使用 tar -vxzf 进行解压 3.进入 kafka config 下的 server.properties 进行配置 borker.id=1 kafka服务器节点设置id为1 释放注释 listeners 监听 listen ...
分类：
系统相关 时间：
2020-01-21 15:53:56
阅读次数：
117
在使用flume采集日志写入到hdfs时，用到了lzo压缩算法，这个算法将让保存的文件缩小为原文件的三分之一。由于此压缩算法不是hadoop默认的，需要另外安装，下面记录下，全文主要参考文末博文完成。 编译安装lzo和lzop 注意，有多少个节点，就安装多个少！注意，有多少个节点，就安装多个少！注意 ...
分类：
其他好文 时间：
2020-01-20 14:30:04
阅读次数：
88
