背景 作为中国最大的在线教育站点，目前沪江日志服务的用户包含网校，交易，金融，CCTalk 等多个部门的多个产品的日志搜索分析业务，每日产生的各类日志有好十几种，每天处理约10亿条（1TB）日志，热数据保留最近7天数据，冷数据永久保存。 为什么做日志系统 首先，什么是日志？ 日志就是程序产生的，遵循 ...
分类：
其他好文 时间：
2019-02-02 14:15:39
阅读次数：
164
2019/1/30_第1次修改 ccb_warlock 由于开发团队搭建的ELK存在些无法解决的问题，故我选择重新搭了新的ELK来替换有问题的ELK。 在使用了elasticdump迁移数据（5.4.X -> 5.6.14）后，访问kibana看到了报错信息"[illegal_argument_ex ...
分类：
移动开发 时间：
2019-01-30 01:28:36
阅读次数：
405
翻译自官网flume1.8用户指南，原文地址：Flume 1.8.0 User Guide 一、 介绍 1. 概述 Apache Flume 是收集、汇总和移动大数据量的不同数据源到集中的数据仓库的分布式的、可靠的、可用的系统。 使用flume 不仅仅可以做日志收集。自从数据源可自定义，flume可 ...
分类：
Web程序 时间：
2019-01-28 17:41:31
阅读次数：
262
1 概述 很多系统的日志都会放在 Kibana 供查询，就是所谓的 ELK。Kibana 除了可以使用界面供的一些 tab 或者 button 去筛选日志，也可以在搜索栏中使用 Lucene 的语法简单的交互式查询。可以做基于字段的特定搜索，过滤数据，也可以查看索引号的文档。查询的语法可以参考 官方 ...
分类：
其他好文 时间：
2019-01-28 17:35:19
阅读次数：
295
FQDN是Fully Qualified Domain Name的缩写, 含义是完整的域名. 例如, 一台机器主机名(hostname)是www, 域后缀(domain)是example.com, 那么该主机的FQDN应该是 www.example.com.另外, 其实FQDN最后是以”.”来结尾的 ...
分类：
系统相关 时间：
2019-01-28 14:04:39
阅读次数：
173
前言：最近有些浮躁，大环境变化无常，这种情况下唯有学习才是王道，好吧，开始学习flume！ 一、Flume简介 Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。 Flume 初始的发行版本目前被统称为 Flume OG（original generation） ...
分类：
Web程序 时间：
2019-01-28 00:46:44
阅读次数：
187
1.tcpping tcp和udp协议 使用syc ack 状况判断 ping icmp协议2.tracert window 路由及延迟查看 3.缓存cache及buffer缓冲 sync清理缓存缓存清理 echo 3 > /proc/sys/vm/drop_cache (可以echo 0 1 2 ...
分类：
其他好文 时间：
2019-01-25 11:39:08
阅读次数：
203
需求 kafka中的message带有key，带有相同key值的message后入kafka的意味着更新message，message值为null则意味着删除message。 用logstash来同步kafka中这样的数据入Elasticsearch，从而实现可以同步增删改数据。 环境 解决(Log ...
分类：
其他好文 时间：
2019-01-24 21:54:28
阅读次数：
452
一.Exceptionless简介 Exceptionless 是一个开源的实时的日志收集框架，它可以应用在基于 ASP.NET，ASP.NET Core，Web Api，Web Forms，WPF，Console，MVC 等技术栈的应用程序中，并且提供了Rest接口可以应用在 Javascript ...
分类：
Web程序 时间：
2019-01-24 17:58:09
阅读次数：
205
ELK提供了一系列采集方案。但对于从app端过来的日志，没有接收模块。一种方案可以用logstash打开socket端口接收，需要客户端配合。这里提供通过http的方案。接收服务器采用springboot实现收集，发送日志到kafka。也可以直接写文件，用fileBeat读取发送到kafka。从ka ...
分类：
其他好文 时间：
2019-01-24 17:56:53
阅读次数：
128
