标签：elk pass exclude 处理 nload oca 过程 pat 替换
Filebeat是一种轻量型，开源的日志采集工具，安装于客户端中来收集指定的日志目录，将收集的日志发送到logstash、es、redis、kafka中，来代替logstash的数据采集方案，logstash在运行过程中相当耗费服务器资源，就算没有在收集日志一样会对CPU，内存造成一个相当高的损耗。
Prospector(6.3版本以后替换成了inputs)是filebeat的检测进程，用来检测指定的文件。
Harvester是filebeat的读取进程，用来读取日志文件的内容。
Spooler是filebeat的数据处理程序，它会进行一个日志数据的处理，然后集合这些最新的数据，最后发送至logstash、es、redis、kafka中。
Inputs采集日志（Prospector在6.3版本中替换成了inputs，这里我们用6.3版本配置文件）
filebeat.inputs: - type: log #指定收集类型 paths: #指定路径如下 - /var/log/*.log include_files: [‘[ERROR]’] #使用正则匹配需要的数据 fields: type: #添加一个字段,用于区分不同的日志，方便logstash进行匹配 fields_under_root: true #添加此字段会使上面的字段与其他字段同级，使logstash方便拿到对应的数据。 multiline: #多行匹配 pattern: ’^\[ERROR]’ #使用正则进行匹配 negate: true #不是以上面正则匹配的默认合并上一行 match: after #合并到上一行的末尾 #Output输出日志（输出至logstash中） output.logstash: hosts: [“192.168.0.174:5044”]
filebeat.yml配置文件，整理后格式：
filebeat.inputs: - type: log paths: - /logs/*/error/error.log tags: ["test"] #项目名 #exclude_lines: [‘^DBG‘] #include_lines: [‘^[ERROR]‘] fields: host_name: 192.168.0.30 document_type: "demo" #平台名 fields_under_root: true multiline: pattern: ‘^\[ERROR]‘ negate: true match: after output.redis: hosts: ["192.168.0.174:6379"] password: "up366.com" key: "filebeat" db: 0 datatype: list
原创文章，转载请注明：
转载自纯种黄牛博客
标签：elk pass exclude 处理 nload oca 过程 pat 替换
原文地址：https://www.cnblogs.com/Huang-Niu/p/9994655.html
