Elasticsearch 是个开源分布式搜索引擎它的特点有分布式零配置自动发现索引自动分片索引副本机制 restful 风格接口多数据源自动搜索负载等。 Logstash 是一个完全开源的工具他可以对你的日志进行收集、分析并将其存储供以后使用如搜索。 kibana 也是一个开源和免费的工具他 Ki ...
分类：
其他好文 时间：
2017-01-09 12:30:20
阅读次数：
515
ELKStack-使用消息队列扩展 官方文档：https://www.elastic.co/guide/en/logstash/5.x/deploying-and-scaling.html 流程图 流程：数据源 --> logstash（input收集、output消息队列） --> MQ --> ...
分类：
其他好文 时间：
2017-01-07 13:13:52
阅读次数：
232
01 logstash应用详解配置环境：node3 192.168.1.133 CentOSLinuxrelease7.2node4 192.168.1.134 CentOSLinuxrelease7.2[root@node4~]#cd/etc/logstash/conf.d/[root@node4conf.d]#vimfilesample.conf input{ file{ path=>["/var/log/messages"] type=>"system" st..
分类：
其他好文 时间：
2017-01-07 08:23:21
阅读次数：
353
一.日志管理(rsyslog)-rsyslogd服务管理采集日志-systemd-journald服务分析日志-管理日志配置文件/etc/rsyslog.conf1.实验：日志同步(把desktop主机上的日志同步到server主机)(1).关闭两主机的防火墙设置ip：desktop:172.25.254.1server:172.25.254.11修改主机名：hostnamectls..
分类：
系统相关 时间：
2017-01-06 22:48:35
阅读次数：
255
log_format logstash "remote_addr | $time_local | $request | $status | $body_bytes_sent | " "$request_body | $content_length | $http_referer | $http_us ...
分类：
其他好文 时间：
2017-01-05 13:26:57
阅读次数：
252
elk日志数据导出SkiptoendofmetadataGotostartofmetadataelk原始日志存放要求原始日志存放路径：/data/es/elasticsearch/nodes/0/indices原始日志名称格式：logstash-type-20xx.xx.xx（其中type为日志的类型，如nginx）日志数据导出的要求li‘y日志数据导出后存放路径：/data/el..
分类：
其他好文 时间：
2017-01-05 12:20:47
阅读次数：
196
LogStash.conf input { file { type => "iis_log" path => ["C:/inetpub/logs/LogFiles/W3SVC2/u_ex*.log"] } } filter { #ignore log comments if [message] =~... ...
分类：
其他好文 时间：
2017-01-04 18:51:42
阅读次数：
406
手工配置 如果您无法通过脚本生成配置文件，这份指导将帮助您通过简单的复制、粘贴手动完成配置。 假定您已拥有root或sudo权限，是在通用的Linux平台使用5.8.0或更高版本的rsyslog，rsyslog能接收本地系统日志，并通过5140端口与外界连接。 1 配置系统环境 粘贴以下脚本并运行， ...
分类：
其他好文 时间：
2017-01-01 20:45:27
阅读次数：
577
使用Nginx和Logstash以及kafka来实现网站日志采集的详细步骤和过程 环境介绍： linux虚拟机3台，主机名分别为hadoop01、hadoop02和hadoop03; 在这3台虚拟机上分别部署了3个Zookeeper，这里Zookeeper的具体安装步骤不做介绍; 在这3台虚拟机上分... ...
分类：
Web程序 时间：
2017-01-01 10:58:15
阅读次数：
1766
III26ELKELK（elasticsearch、logstash、kibana）ElasticStack是原ELKStack在5.0版本加入Beats套件后的新称呼解决痛点：开发人员不能登录线上server查看详细日志；各个系统都有日志，日志数据分散难以查找；日志数据量大，查询速度慢，或数据不够实时；一个调用会涉及多个系统..
分类：
其他好文 时间：
2016-12-30 22:26:49
阅读次数：
578
