1.Kafka主要作用 1.消息系统 2.网站活性跟踪 3.监控数据收集 4.日志收集 2. Kafka多活架构 重点：Topic之间的数据复制关系，通过制定下游Topic生产为上游Topic。 3.消息发送策略 4.消息丢失 针对produce、topic以及consumer三个不同阶段处理 5. ...
分类：
其他好文 时间：
2018-07-24 21:45:21
阅读次数：
154
今天ELK收集日志的时候，发现收集失败，查找各方面原因，最后在redis日志里面发现报错：[2489] 02 Jun 10:43:42 # Error allocating resoures for the client 错误是无法为客户端分配资源，查看redis连接数：# redis-cli in ...
分类：
其他好文 时间：
2018-07-22 11:35:30
阅读次数：
168
logstash收集syslog日志注意：生产用syslog收集日志！！！ 编写logstash配置文件 Kibana设置 看hand插件上我们能看到system-syslog索引 Kibana上添加system-syslog索引 完美 ...
分类：
其他好文 时间：
2018-07-16 11:18:55
阅读次数：
1003
1、收集Nginx的json格式日志 1.1、Nginx安装 [root@linux-node1 ~]# yum install nginx -y [root@linux-node1 ~]# vim /etc/nginx/nginx.conf #修改日志格式为json格式，并创建一个nginxweb ...
分类：
编程语言 时间：
2018-07-06 14:22:59
阅读次数：
297
1ELK是一个实时分布式的日志分析平台ELK是一整套的解决方案（E）lasticsearch--数据库（L）ogstash--收集日志、标准化的程序（K）ibana--图形的展示工具2数据批量导入-X导入使用的方法POST--data-binary导入数据的格式@urfile导入数据的文件名_bulk导入关键字curl-X"POST""http://192.168.1
分类：
其他好文 时间：
2018-07-06 10:08:36
阅读次数：
234
采用filebeat收集日志，日志文件频繁rotate，造成filebeat占用文件不释放，只要filebeat保持着被删除文件Open状态，操作系统就不释放磁盘空间，导致可用磁盘空间逐渐减小。使用lsof命令查看filebeat保持着的文件资源，可以发现许多被filebeat占用空间的失效文件（deleted）文件。deleted状态的文件没有释放，始终占据磁盘空间解决办法：查看filebeat
分类：
系统相关 时间：
2018-06-26 14:30:11
阅读次数：
285
一、logstash介绍 Logstash是一个开源的数据收集引擎，可以水平伸缩，而且logstash是整个ELK当中拥有最多插件的一个组件，其可以接收来自不同源的数据并统一输入到指定的且可以是不同目的地。 logstash收集日志基本流程: input-->codec-->filter-->cod ...
分类：
其他好文 时间：
2018-06-20 21:12:53
阅读次数：
182
filebeat收集日志文件如果日志文件重命名，是否会重新收集日志呢？答案:不会，因为收集日志是通过文件的inode的，linux中重名名，只是改变了文件名，文件在磁盘的存储位置即inode并未改变。filebeat中的data下面的registry可以查看filebeat读取的文件和offset。如重命名:mvtable_io_1.logtable_io_3.log变化重名后变为:filebea
分类：
其他好文 时间：
2018-06-18 16:08:30
阅读次数：
1089
本次构架图如下 说明： 1，前端服务器只启动轻量级日志收集工具filebeat（不需要JDK环境） 2，收集的日志不进过处理直接发送到redis消息队列 3，redis消息队列只是暂时存储日志数据，不需要进行持久化 4，logstash从redis消息队列读取数据并且按照一定规则进行过滤然后存储至e ...
分类：
其他好文 时间：
2018-06-18 12:40:32
阅读次数：
787
一.linux系统（1）怎么查看linux的僵尸进程（2）查看剩余内存二.数据库（1）mysql主从同步原理？（2）如果主从同步不正常怎么办？（3）mysql怎么实现数据库备份的？三.ELK（1）请问ELK的架构是怎么样的？（2）请问ELK是怎么收集日志的？四.Nginx（1）请问是怎么保持session会话的？（2）nginx调优都有哪些？五.Tomcat（1）tomcat调优都有哪些？
分类：
其他好文 时间：
2018-06-11 11:02:30
阅读次数：
119
