专栏介绍ELK是目前行业中非常热门的一个技术,它可以用于电商网站、门户网站、企业IT系统等各种场景下,也可以用于对海量的数据进行近实时的数据分析。专栏深入浅出剖析ELK在企业常见应用框架以及ZooKeeper、Kafka与ELK进行整合的方法和架构。首选通过具体的一个应用案例介绍ZooKeeper+Kafka+ELK构建一套实时日志处理系统的过程。然后通过对Logstash和filebeat的对比
分类:
其他好文 时间:
2018-08-20 20:15:17
阅读次数:
281
新的服务器需要搭建ELK三剑客,就是日志分析的工具 下载对应文件,把文件放在服务器上, 第一步,先运行ElasticSearch(命令行方式),正常。 第二步,运行logstash,(本地使用的管道是连接redis的)这个的运行不想用命令行了,想借助nssm来安装服务,可谁曾想,执行了nssm in ...
分类:
Windows程序 时间:
2018-08-19 16:14:03
阅读次数:
1206
Kibana 安装
– kibana 的安装非常简单,我们使用 rpm 方式安装
rpm –ivh kibana-4.5.2-1.x86_64.rpm
– kibana 默认安装在 /opt/kibana 下面,配置文件在
/opt/kibana/config/kibana.yml
– 我们只需要修改少量的配置就可以启动
kibana.yml 的配置
vim /opt/kibana/config/kibana.yml
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://192.168.4.13:9200"
kibana.index: ".kibana"
kibana.defaultAppId: "discover"
elasticsearch.pingTimeout: 1500
elasticsearch.requestTimeout: 30000
elasticsearch.startupTimeout: 5000
– 除 elasticsearch.url 需要配置为我们 ES 集群的地址之外
分类:
其他好文 时间:
2018-08-17 11:27:45
阅读次数:
178
#Memory:error=12,reason=Cannotallocatememorysed-i‘s/^#MAX_LOCKED_MEMORY./MAX_LOCKED_MEMORY=unlimited/‘/etc/sysconfig/elasticsearchsed-i‘$a\softmemlockunlimited‘/etc/security/limits.con
分类:
其他好文 时间:
2018-08-16 19:55:02
阅读次数:
137
一. ELK 分布式日志实战介绍 此实战方案以 Elk 5.5.2 版本为准,分布式日志将以下图分布进行安装部署以及配置。 二. Filebeat 插件安装以及配置 filebeat.yml 配置 ...
分类:
其他好文 时间:
2018-08-16 17:40:06
阅读次数:
285
https://www.howtoing.com/how-to-install-elasticsearch-logstash-and-kibana-elk-stack-on-ubuntu-16-04 在本教程中,我们将在安装Elasticsearch ELK在Ubuntu 16.04(即,Elast ...
分类:
系统相关 时间:
2018-08-15 14:54:56
阅读次数:
353
一、创建一个新窗口: 安装完成后,直接敲命令screen就可以启动它。但是这样启动的screen会话没有名字,实践上推荐为每个screen会话取一个名字,方便分辨: [root@elk-server ~]# screen -S elasticsearch [detached from 26000.e ...
分类:
其他好文 时间:
2018-08-15 13:06:32
阅读次数:
964
缘起最近在使用腾讯云,想对访问日志进行收集与分析,发现CLB(负责均衡)日志只能保存到COS上面,而且是每个CLB没小时压发送个gz压缩包到COS。实现方式CLB配置日志存储到COS,Filebeat客户端CVM安装cosfs挂载COS,并配置Filebeat输出到Elasticsearch集群,最后通过Kibana和Grafana分析。参考文档https://www.elastic.co/gui
分类:
其他好文 时间:
2018-08-15 10:42:55
阅读次数:
262
ELK搭建踩过的坑学习博客:http://blog.51cto.com/zero01/2082794日志多而杂,搜索慢--->集中式管理分布式系统--->快速定位服务器和模块收集-传输-存储-分析-警告ELK:elasticsearch搜索引擎logstash日志的收集、分析、过滤kibana日志分析界面beats日志采集器收集网络数据、指标、日志、window实践、审计、运行时间x-
分类:
其他好文 时间:
2018-08-15 10:38:31
阅读次数:
167
elasticsearch版本:6.3.2 1.es安装 按照官方提示操作即可。 通过yum安装或者下载tar包解压。 安装完成之后,需要修改一些配置 ①修改文件 /etc/sysctl.conf 执行命令: 这一步可以解决问题:max virtual memory areas vm.max_map ...
分类:
其他好文 时间:
2018-08-14 17:07:39
阅读次数:
243