码迷,mamicode.com
首页 > 其他好文 > 详细

ELK 错误: retrying failed action with response code: 403, kibana无log显示

时间:2019-08-13 11:49:46      阅读:1332      评论:0      收藏:0      [点我收藏+]

标签:nbsp   nohup   排查   action   总结   ima   错误   led   mic   

今天10点时候同事报出kibana突然不显示log了,开始紧急排查

  1. 从数据源头查起,先看被filebeat监视的log文件是否在更新(一般只要log对应服务在正常运行,log文件中就会有数据持续更新)

      tail -f log.log

   发现log中数据在持续更新,说明数据源头没有问题

  2. 查看filebeat服务的log

    filebeat 服务的log输出在nohup中

    tail -f nohup.out

    技术图片

    filebeat 正常,没有问题

  3. 检查logstash

   查看logstash是否在运行

          技术图片

   在运行,但是是否logstash和ES的通信是否正常呢?

   看logstash 的log

   tail -f nohup.out

         技术图片

  what? [FORBIDDEN/12/index read-only / allow delete (api)];"})  

   索引被置为了只读。。。。

  官网对这个问题介绍:

  技术图片

     进入kibana Dev Tools

     技术图片

      再次查看discover并刷新,log开始更新了`````````````

 

总结:

  这个问题出现的原因就是ES存储磁盘空间不足导致,控制洪水阶段水印。它默认为95%,这意味着Elasticsearch执行一个只读索引块(index.blocks.read_only_allow_delete)每个指标都有一个或多个碎片分配的节点上,至少有一个磁盘超过限额。这是最后一招,以防止节点耗尽磁盘空间。一旦有足够的磁盘空间用于允许索引操作,索引块必须手动释放。

  leader同志 多给点硬盘空间不行吗???

 

ELK 错误: retrying failed action with response code: 403, kibana无log显示

标签:nbsp   nohup   排查   action   总结   ima   错误   led   mic   

原文地址:https://www.cnblogs.com/wangbaojun/p/11344916.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!