修改yaml的image名称，已经添加一个变量，其中value是elk的es地址
分类：
其他好文 时间：
2016-08-23 17:11:28
阅读次数：
204
前言：Elk主要就是3个软件的组合，主要是elasticsearch搜索引擎，Logstash是一个日志收集日志，kibana实时分析进行展示。[关于日志搜集的软件，如:scribe,flume,heka,logstash,chukwa,fluentd,当然rsyslogrsyslog-ng都可以搜集。关于日志手机后存储软件，如:HDFS,Cassandramong..
分类：
系统相关 时间：
2016-05-27 14:58:51
阅读次数：
856
1. http输入，stdout输出 例子 <source> @type http port 8888 bind 0.0.0.0 </source> <match td3.**> type stdout </match> 请求 curl http://10.218.139.216:8888/td3
分类：
其他好文 时间：
2016-02-03 10:45:54
阅读次数：
582
0. td-agent是何物为了灵活性，fluentd用Ruby写的，其中一些性能敏感的部件使用c写的。普通的用户直接安装和使用Ruby进程可能有困难，这样就把它封装成Fluentd的稳定版本——td-agent.1. 安装rpm包直接执行install-redhat-td-agent2.sh脚本，...
分类：
其他好文 时间：
2016-01-12 01:06:33
阅读次数：
720
ODPS功能介绍之数据导入 在使用ODPS强大的数据处理能力之前，大家最关心的是自己的数据如何导入到ODPS中。下面介绍一款向ODPS导入数据的工具-Fluentd。 Fluentd是一个开源的软件，用来收集各种源头日志（包括Application Log、Sys Log及Access Log）.....
分类：
其他好文 时间：
2015-11-19 20:32:49
阅读次数：
269
如果你安装Fluentd运用的是rpm或是deb 的安装包，这个配置文件在/etc/td-agent/td-agent.conf 这个目录。重新安装将会安装conf 配置文件。 $ sudo vi /etc/td-agent/td-agent.conf 如果你安装Fluentd 用的是Ruby ...
分类：
其他好文 时间：
2015-08-18 12:30:37
阅读次数：
190
废话不多说，直接进入主题。总体架构是客户端统一用rsyslog日志收集，--->fluentd服务器上--->mongondb集群--->Elasticsearch+Kibana服务器上展示。rsyslog安装和配置1、更改history格式在/etc/profile.d目录下创建history.sh脚本，内容如下HISTTIMEFORMAT=‘%F%T‘HIST..
分类：
其他好文 时间：
2015-07-14 06:21:38
阅读次数：
270
備忘録です．http://toshitanian.hatenablog.com/entry/2013/10/25/0238382013-10-25nginxのerror_logはformat指定できない．nginxとかsupervisorとかDBのログをfluentdで一括管理したいなぁとおもったの...
分类：
其他好文 时间：
2015-06-04 13:45:08
阅读次数：
125
一：匹配上则取否则不取匹配规则为\[sv=(?[^\]]*?)\].*?\[os=(?[^\]]*?)\].*?\[net=(?[^\]]*?)\].*?\[lt=(?\d*)\].*?\[tm=(?\d{10}).*?\[act=(?[^\]]*?)\].*?(\{logid=(?[^\}]*?)...
分类：
其他好文 时间：
2015-05-13 19:02:45
阅读次数：
195
需求：通过开源软件fluentd收集各个设备的apache访问日志到fluentd的转发服务器中，然后通过webHDFS接口，写入到hdfs文件系统中。软件版本说明：hadoop版本：1.1.2fluentd版本：1.1.21测试环境说明：node29服务器上安装了apache，以及fluentd，作为fluentd的客户端；node1服务..
分类：
其他好文 时间：
2015-01-06 18:16:52
阅读次数：
192
