一、环境准备1、架构选型接下来我们进行初步的探视，利用测试环境体验下ELKStack+Filebeat，测试环境我们就不进行Kafka的配置了，因为他的存在意义在于提高可靠性。2、软件版本Filebeat6.4.0Logstash6.4.0Elasticsearch6.4.0Kibana6.4.0JDK1.8.0_1813、服务器准备IP系统角色172.18.2.100CentOS7.4.1708
分类：
其他好文 时间：
2018-09-16 23:56:25
阅读次数：
260
一、ELK介绍ELK构建在开源基础之上，让您能够安全可靠地获取任何来源、任何格式的数据，并且能够实时地对数据进行搜索、分析和可视化。最近查看ELK官方网站，发现新一代的日志采集器Filebeat，他是Beats家族其中的一员，性能超越logstash，部署简单，占用资源少，可以很方便的和logstash，ES对接。从官方网站可以看出新一代ELK架构如下：1、BeatsBeats平台集合了多种单一用
分类：
其他好文 时间：
2018-09-16 20:50:45
阅读次数：
297
先做一个对比： 对比点 Storm Spark Streaming 实时计算模型 纯实时，来一条数据，处理一条数据 准实时，对一个时间段内的数据收集起来，作为一个RDD，再处理 实时计算延迟度 毫秒级 秒级 吞吐量 低 高 事务机制 支持完善 支持，但不够完善 健壮性 / 容错性 ZooKeeper ...
分类：
其他好文 时间：
2018-09-10 11:02:27
阅读次数：
539
python使用re模块提供了正则表达式的处理能力常量常量说明re.M、re.MULTILINE多行模式re.S、re.DOTALL单行模式re.I、re.IGNORECASE忽略大小写re.X、re.VERBOSE忽略表达式中的空白字符使用|位或运算开启多种选项方法编译re.compile(pattern,flags=0)设定flags，编译模式，返回正则表达式对象regex。pattern就是
分类：
编程语言 时间：
2018-09-09 20:32:07
阅读次数：
232
ELK简介：ELK是三个开源软件的缩写，分别表示：Elasticsearch,Logstash,Kibana,它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：
分类：
其他好文 时间：
2018-09-06 23:57:50
阅读次数：
539
filebeat用于收集和转发日志。filebeat监视指定的日志文件和位置，收集日志事件，并将它们转发到es或logstash等。 配置说明： input ： processor处理器配置 output 输出配置 ...
分类：
其他好文 时间：
2018-09-06 14:43:15
阅读次数：
1090
配置filebeat使用logstash重要：要将事件发送到Logstash，还需要创建一个Logstash配置管道，该管道监听传入的Beats连接并将收到的事件编入索引到Elasticsearch。 有关更多信息，请参阅Elastic Stack入门教程中有关configuring Logstas ...
分类：
其他好文 时间：
2018-09-05 15:08:05
阅读次数：
191
配置Filebeat 提示：Filebeat modules为常见的日志格式提供了最快的入门操作。 如果要使用Filebeat模块，请跳过本节，包括剩余的入门步骤，并直接转到快速入门：Quick start: modules for common log formats. 要配置Filebeat，请 ...
分类：
其他好文 时间：
2018-09-05 14:57:35
阅读次数：
259
正则表达式—修饰符 正则表达式可以包含一些标志修饰符来控制匹配模式，用在正则表达式处理函数中的flag参数中，为可选参数。 (1) re.I 全写(re.IGNORECASE) 表示使匹配时，忽略大小 (2) re.M 全写(re.MULTILINE) 多行匹配，影响 ^ 和 $的行为 (3) re ...
分类：
编程语言 时间：
2018-09-05 13:52:46
阅读次数：
198
