介绍Elasticsearch是ELK(Elasticsearch/Logstash/Kibana)的基石。在这篇文章中,我们将使用RancherCatalog来部署stack,并将它用于追踪Twitter上的tag和brand。追踪Twitter上的hashtag对于衡量基于Twitter的营销活动的影响力是非常有用的。你可以从中提取出诸如您的推文被转..
分类:
其他好文 时间:
2017-05-11 14:29:22
阅读次数:
203
日志存储系统常用技术方案有两种:一是log4j/logback+mongodb的方式,一种是基于ELK的日志存储系统。 日志一般存储在数据库和文件系统中。日志数据要和生产正式库分开存储,否则会影响正式库的运行,带来隐患。另外,为了防止日志存储性能问题,后期可以考虑采用异步的消息队列形式进行存储。 下 ...
分类:
其他好文 时间:
2017-05-10 19:51:41
阅读次数:
226
环境: 操作系统: web: 10.2.11.237 centos6.7 redis:10.2.11.236 centos6.7 logstash1:10.2.11.233 centos6.7 logstash2:10.2.11.235 centos6.7 elastichsearch1:10.2. ...
分类:
其他好文 时间:
2017-05-10 14:54:36
阅读次数:
152
一、介绍 The Elastic Stack - 它不是一个软件,而是Elasticsearch,Logstash,Kibana 开源软件的集合,对外是作为一个日志管理系统的开源方案。它可以从任何来源,任何格式进行日志搜索,分析获取数据,并实时进行展示。像盾牌(安全),监护者(警报)和Marvel( ...
分类:
其他好文 时间:
2017-05-08 14:38:08
阅读次数:
369
一、为什么?在中小型企业,公司不同运维人员基本都是以root账户进行服务器的登陆管理,缺少了账户权限审计制度。不出问题还好,出了问题,就很难找出源头。这里介绍下,如何利用编译bash使不同的客户端在使用root登陆服务器使,记录各自的操作,并且可以在结合ELK日志分析系统..
分类:
系统相关 时间:
2017-05-08 14:35:50
阅读次数:
262
一、为什么? 在中小型企业,公司不同运维人员基本都是以root 账户进行服务器的登陆管理,缺少了账户权限审计制度。不出问题还好,出了问题,就很难找出源头。 这里介绍下,如何利用编译bash 使不同的客户端在使用root 登陆服务器使,记录各自的操作,并且可以在结合ELK 日志分析系统,来收集登陆操作 ...
分类:
系统相关 时间:
2017-05-08 14:20:29
阅读次数:
330
一、介绍TheElasticStack-它不是一个软件,而是Elasticsearch,Logstash,Kibana开源软件的集合,对外是作为一个日志管理系统的开源方案。它可以从任何来源,任何格式进行日志搜索,分析获取数据,并实时进行展示。像盾牌(安全),监护者(警报)和Marvel(监测)一样为你的产..
分类:
其他好文 时间:
2017-05-08 14:13:19
阅读次数:
181
1. Elasticsearch Updates 1.1 公布了Kibana 4 Beta 1 和Beta 1.1 Kibana 4不管是在界面的布局,使用配置方法,还是底层绘制图表的方式都与Kibana不同。在Kibana 3的基础上吸取了众多社区的功能需求后。Kibana自Kibana 2 大改 ...
分类:
其他好文 时间:
2017-05-07 13:59:51
阅读次数:
223
1、server.conf文件[elk@logserverbin]$catserver.conf
input{
redis{
host=>"10.10.45.200"
data_type=>"list"
key=>"elk_frontend_access:redis"
port=>"5379"
}
}
output{
if"_grokparsefailure"in[tags]{
}else{
if[type]=="www1_access"{
elasticsearch{
host..
分类:
其他好文 时间:
2017-05-06 17:37:04
阅读次数:
3053
因为docker产生的容器不是一个永久存储的文件,所以无法保证你的文件永久保存。建议大家把容器产生的日志通过fluentd,flume,logstash等工具传送到一个日志仓库,这样保证方便保证数据的安全和管理。由于docker官方的推荐,我们本次讲解是fluentd日志收集组件。具体使用如下:..
分类:
其他好文 时间:
2017-05-05 23:15:08
阅读次数:
1798