1 .背景 flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便 ...
分类：
Web程序 时间：
2019-01-14 11:52:46
阅读次数：
210
ELK环境部署基础环境系统：Centos7.3防火墙、selinux：关闭机器环境：至少两台192.168.1.182elk-node1192.168.1.183elk-node2Master-slave模式机器环境：jdk1.8+，nginx或apache下载并安装GPGKeyrpm--importhttps://packages.elastic.co/GPG-KEY-elasticsearch
分类：
其他好文 时间：
2019-01-11 11:44:38
阅读次数：
228
一.MQ介绍 message deque,消息队列，现如今有很多消息队列，比如rabbitMQ,kafka,rocketMQ 二.消息队列的应用场景 为什么要使用消息队列呢，适用于什么场景呢。 1.异步处理 如果以下三步操作，注册用户，注册成功后，发送短信给客户，发送邮件给客户 假设一个操作的时间未 ...
分类：
其他好文 时间：
2019-01-11 00:47:11
阅读次数：
263
############本文介绍使用ELK（elasticsearch、logstash、kibana）+ kafka来搭建一个日志系统。主要演示使用springaop进行日志收集，然后通过kafka将日志发送给logstash，logstash再将日志写入elasticsearch，这样elasticsearch就有了日志数据了，最后，则使用kibana将存放在elasticsearch中的日志
分类：
编程语言 时间：
2019-01-10 19:30:48
阅读次数：
232
一、使用背景 当生产环境有很多服务器、很多业务模块的日志需要每时每刻查看时 二、环境 系统：centos 6.5 JDK：1.8 Elasticsearch-5.0.0 Logstash-5.0.0 kibana-5.0.0 三、安装 1、安装JDK 下载JDK：http://www.oracle. ...
分类：
其他好文 时间：
2019-01-10 15:43:44
阅读次数：
148
为什么用到ELK： 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集 ...
分类：
其他好文 时间：
2019-01-10 15:37:36
阅读次数：
140
一、ELK搭建篇 官网地址:https://www.elastic.co/cn/ 官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html 安装指南：https://www.elastic.co/gui ...
分类：
其他好文 时间：
2019-01-10 15:35:16
阅读次数：
219
一.Elasticsearch 安装 官网下载地址：https://www.elastic.co/cn/ （下载Linux版），上传到本地虚拟机服务器 ，tar -zxvf 解压，运行 遇到的问题1 ： 不允许 root 用户启动 解决： 遇到的问题2： max file descriptors [ ...
分类：
其他好文 时间：
2019-01-08 21:03:01
阅读次数：
200
1. Nginx 进程模型简介 Nginx默认采用多进程工作方式，Nginx启动后，会运行一个master进程和多个worker进程。其中master充当整个进程组与用户的交互接口，同时对进程进行监护，管理worker进程来实现重启服务、平滑升级、更换日志文件、配置文件实时生效等功能。worker用 ...
分类：
系统相关 时间：
2019-01-08 19:19:55
阅读次数：
315
一、简述 本文讲JAVA使用Logback发送日志到控制台、文件、ELK的最简单用法。 二、教程 1、新建pom.xml项目引入下列依赖： 2、在resources目录下添加logback.xml文件，将地址换成Logstash的地址，内容如下： 2、写程序发送日志 三、效果 ...
分类：
编程语言 时间：
2019-01-08 17:19:44
阅读次数：
282
