容器技术在发展到今天已经是相当的成熟，但容器不同于虚拟机，我们在使用容器的同时也有很多相关的技术问题需要解决，比如：容器性能监控，数据持久化，日志监控与分析等。我们不能像平时使用虚拟机一样来管理容器，本文我将给大家带来fluentd+elasticsearch+kilbana容器日志收..
分类：
其他好文 时间：
2017-07-18 21:08:38
阅读次数：
1113
使用elk时，search时默认带有分词功能，搜索关键字并不精准，为方便search查询，将分词功能禁用：curl-XPUThttp://localhost:9200/_template/template_1-d‘{"template":"*","order":0,"settings":{"number_of_shards":5},"mappings":{"fluentd":{"properties":{"request_dir":{..
分类：
其他好文 时间：
2017-07-18 12:01:21
阅读次数：
196
在后续我们会说如何收集kubernetes中的pod日志，在收集日志的时候，需要在每个k8snode节点上运行一个收集日志的进程
，如fluentd。我们知道在通常情况下，kubernetes基于它内部的调度算法来自动分配pod运行在哪个节点上，没有办法保证在每个node上运行一个fluentd
pod。这个时..
分类：
Web程序 时间：
2017-06-10 15:30:40
阅读次数：
214
在初步完成Kubernetes集群架构的建立后,通过搭建一些监控组件,我们已经能够实现 图形化的监控每个node,pod的状态信息和资源情况 通过scale进行replicateSet的扩展和伸缩 通过kubectl logs 或dashboard去查看每个Pod的运行日志 但是,在分布式架构中节点 ...
分类：
Web程序 时间：
2017-05-24 09:55:21
阅读次数：
849
因为docker产生的容器不是一个永久存储的文件，所以无法保证你的文件永久保存。建议大家把容器产生的日志通过fluentd，flume，logstash等工具传送到一个日志仓库，这样保证方便保证数据的安全和管理。由于docker官方的推荐，我们本次讲解是fluentd日志收集组件。具体使用如下：..
分类：
其他好文 时间：
2017-05-05 23:15:08
阅读次数：
1798
k8s集群之日志收集EFK架构参考文档http://tonybai.com/2017/03/03/implement-kubernetes-cluster-level-logging-with-fluentd-and-elasticsearch-stack/https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearchhttps://t.goodrain.com/t/k..
分类：
其他好文 时间：
2017-03-16 22:30:52
阅读次数：
1627
服务介绍 随着实时分析技术的发展及成本的降低，用户已经不仅仅满足于离线分析。目前我们服务的用户包括微博，微盘，云存储，弹性计算平台等十多个部门的多个产品的日志搜索分析业务，每天处理约32亿条(2TB)日志。 技术架构 简单介绍一下服务的技术架构： 这是一个再常见不过的架构了： （1）Kafka：接收 ...
分类：
其他好文 时间：
2017-02-18 18:35:47
阅读次数：
710
Elasticsearch、Fluentd与Kibana：开源的日志搜索与可视化方案提供：ZStack社区 前言Elasticsearch、Fluentd与Kibana的组合（EFK）可以进行日志数据...
分类：
其他好文 时间：
2016-11-14 12:54:31
阅读次数：
198
Gitrepo:https://git.oschina.net/yonchin/k8s-x86_64/tree/master/x86?dir=1注：系统是基于CentOS_7.2，ansible：2.1简介：kube-ansible-install:除了安装Kubernetes的主从外，还包括Kubernetes的addons（如dashboard、dns、fluentd-elasticsearch-kibana、heapster-influxdb-..
分类：
Web程序 时间：
2016-10-31 22:47:46
阅读次数：
433
http://www.gaizaoren.org/archives/408 基于主机的管理一般需要收集服务器的日志信息用于及时发现错误，处理故障。 搭建linux下的集中日志服务器的程序一般可以用syslog,rsyslog,syslog-ng,还有scribe和fluentd等。 基本每一种方式都 ...
分类：
其他好文 时间：
2016-08-24 13:07:45
阅读次数：
286
