ELK 6安装配置 nginx日志收集 kabana汉化 环境 centos 7.4 ,ELK 6 ,单节点 服务端 Logstash 收集,过滤 Elasticsearch 存储,索引日志 Kibana 可视化 客户端 filebeat 监控、转发,作为agent filebeat Logstas ...
分类：
其他好文 时间：
2018-03-26 22:25:42
阅读次数：
1916
一、基础篇JVM JVM内存结构 堆、栈、方法区、直接内存、堆和栈区别 Java内存模型 内存可见性、重排序、顺序一致性、volatile、锁、final 垃圾回收 内存分配策略、垃圾收集器（G1）、GC算法、GC参数、对象存活的判定 JVM参数及调优 Java对象模型 oop-klass、对象头 ...
分类：
编程语言 时间：
2018-03-23 10:30:01
阅读次数：
222
分布式日志收集系统日志收集系统采用elasticsearch+fluentd+kibana，用fluentd代替elk社区里的logstash，logstas的插件是最多的，同时logstash的性能和资源消耗太高，经某站大佬压力测试，在环境为2核4g的云计算服务器上，logstash写入qps极限为8000，通过结合易瑞现有询报价系统，同时也是用户3000+的项目产品，logstash负载压力显
分类：
其他好文 时间：
2018-03-16 14:00:25
阅读次数：
340
一.Flume是什么？Flume是一个分布式，可靠的系统。它能够高效的收集，整合数据，还可以将来自不同源的大量数据移动到数据中心存储。Flume是Apache下的一个顶级项目。Flume不仅可以收集整合日志数据，因为数据源是可以自定义的，Flume能够用于传输大量日志数据，这些数据包含到不仅限于网络传输数据、社交媒体生成的数据、邮件信息等等。当前的版本有0.9.x和1.x。新版本具有更加灵活的配置
分类：
Web程序 时间：
2018-03-13 19:09:08
阅读次数：
215
一、Flume基础部分： Flume -- 日志收集框架 产生背景： 日志分散到各个机器上，又想用大数据平台进行统计分析 从其他server把日志移动收集到集群上，并能够监控，需要有时效性、容错性、负载均衡 Flume 一般通过配置configuration file，来实现各种数据的收集 概述： ...
分类：
Web程序 时间：
2018-03-11 17:24:50
阅读次数：
204
本文收录在Linux运维企业架构实战系列 一、收集切割公司自定义的日志 很多公司的日志并不是和服务默认的日志格式一致，因此，就需要我们来进行切割了。 1、需切割的日志示例 2018-02-24 11:19:23,532 [143] DEBUG performanceTrace 1145 http:/ ...
分类：
数据库 时间：
2018-03-06 12:45:54
阅读次数：
1563
笔记内容：搭建ELK日志分析平台——安装kibana和logstash笔记日期：2018-03-0327.6安装kibana27.7安装logstash27.8配置logstash27.9kibana上查看日志27.10收集nginx日志27.11使用beats采集日志本文是上一篇ELK介绍及搭建Elasticsearch分布式集群的后续。安装kibana由于上一篇中我们已经配置过yum源，这里就
分类：
其他好文 时间：
2018-03-04 21:16:19
阅读次数：
291
架构、分布式、日志队列，标题自己都看着唬人，其实就是一个日志收集的功能，只不过中间加了一个Redis做消息队列罢了。前言为什么需要消息队列？当系统中出现“生产“和“消费“的速度或稳定性等因素不一致的时候，就需要消息队列，作为抽象层，弥合双方的差异。比如我们系统中常见的邮件、短信发送，把这些不需要及时响应的功能写入队列，异步处理请求，减少响应时间。如何实现？成熟的JMS消息队列中间件产品市面上有很多
分类：
编程语言 时间：
2018-02-07 10:25:01
阅读次数：
302
架构、分布式、日志队列，标题自己都看着唬人，其实就是一个日志收集的功能，只不过中间加了一个Kafka做消息队列罢了。kafka介绍Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素
分类：
编程语言 时间：
2018-02-07 10:19:00
阅读次数：
202
