（1）标准输入输出tcp模块 1.修改配置文件 2.检测配置文件语法和启动 3.nc发送日志 4.验证 （2）日志输出到elasticsearch 1.修改配置文件 2.检测配置文件语法和启动 3.nc发送日志 4.head插件验证 5.kibana添加索引 ...
分类：
其他好文 时间：
2018-05-29 18:54:33
阅读次数：
1163
Master: #MasterAgentMasterAgent.channels = c1MasterAgent.sources = s1MasterAgent.sinks = k1 #MasterAgent Avro SourceMasterAgent.sources.s1.type = avro ...
分类：
Web程序 时间：
2018-05-28 22:52:40
阅读次数：
325
Logstash基本介绍和使用场景 自我认为：logstash就是日志的采集收集，日志的搬运工，实时去采集日志。读取不同的数据源，并进行过滤，开发者自定义规范输出到目的地。日志的来源很多，如系统日志，应用日志等等（同类软件：filebeat） 官方文档：https://www.elastic.co/ ...
分类：
其他好文 时间：
2018-05-22 17:22:26
阅读次数：
213
volume 类型 静态volume emptyDir 临时空目录， 用途，pod内多用户同享一个目录。与POD的生命周期一至，POD创建时创建，删除时删除。 Hostpath 宿主机1：1映射，用途为收集日志。容器迁移至其它节点数据会丢失。 storage-provide：公有云存储空间或分布式存 ...
分类：
其他好文 时间：
2018-05-22 10:48:58
阅读次数：
454
Logstash：数据收集、日志数据配置框架input {
...
}
filter {
...
}
output {
...
}四种类型的插件：input ,filter ,codec, output数据类型Array:
分类：
其他好文 时间：
2018-05-16 15:16:05
阅读次数：
134
日志分析业务中会生成大量的系统日志、应用程序日志、安全日志等，通过对日志的分析可以了解服务器的负载、健康状况，可以分析客户的分布情况、客户的行为，甚至基于这些分析可以做出预测一般采集流程日志产出->采集（Logstash、Flume、Scribe）->存储->分析->存储（数据库、NoSQL）->可视化开源实时日志分析ELK平台Logstash收集日志，并存放到Ela
分类：
编程语言 时间：
2018-05-06 18:48:51
阅读次数：
235
日志分析系统 参考博客：http://udn.yyuap.com/thread 54591 1 1.html ; https://www.cnblogs.com/yanbinliu/p/6208626.html ; http://blog.csdn.net/wyqlxy/article/detail ...
分类：
其他好文 时间：
2018-04-30 11:51:37
阅读次数：
178
ElasticSearch:用于存储和搜索日志,分析日志 LogStash:用于收集日志(把所有日志收集到一个地方) Kibana:用于日志的web展示 ElasticSearch简介: ElasticSearch集群: 环境:centos 7 方式: 1.安装 https://www.elasti ...
分类：
其他好文 时间：
2018-04-24 11:12:49
阅读次数：
259
转载：http://blog.csdn.net/liuxiao723846/article/details/78133375 一、场景一描述： 线上api接口服务通过log4j往本地磁盘上打印日志，在接口服务器上安装flume，通过exec source收集日志，然后通过avro sink发送到汇总 ...
分类：
Web程序 时间：
2018-01-19 16:50:53
阅读次数：
388
用logstash收集日志并发送到redis，然后通过logstash取redis数据写入到es集群，最近kibana显示日志总是中断，日志收集不过来，客户端重启发现报错： 根据报错推断redis满了，在客户端清空redis 重启收集端的logstash 可以重新写入数据，由此判断有进程不断写入re ...
分类：
其他好文 时间：
2018-01-11 15:24:06
阅读次数：
297
