日志是从logstash传输给ES的，但是logstash配置中只能配置host和index，所以只能在es中进行配置 但是在es配置文件中配置，也就是新增如下参数的话会报错：node settings must not contain any index level settings 所以采用索引 ...
分类：
其他好文 时间：
2019-12-05 13:17:47
阅读次数：
679
3个容器需要进行交互，根据docker的网络原理，docker0网桥要有，之前因为网桥不在，虽然es启动起来，但是一直ping不通，logstash也连不上es,而且存在缺陷，容器的ip可能会发生变化，后面会将用k8s去部署。 [root@topcheer ~]# ifconfig docker0: ...
分类：
其他好文 时间：
2019-12-04 20:34:58
阅读次数：
182
```bash filter { mutate { remove_field => ["@version","prospector","input","beat","source","offset"] } grok { match => { "message" => "%{TIMESTAMP_ISO... ...
分类：
其他好文 时间：
2019-12-04 20:28:54
阅读次数：
313
1、启动es-head问题 因为高版本es-head需要单独启动，所以先要安装npm等工具。安装教程见[1] 启动命令：../elasticsearch-head/node_modules/grunt/bin/grunt server 2、logstash同步到es中 [ERROR][logstas ...
分类：
其他好文 时间：
2019-12-03 18:17:14
阅读次数：
176
filebeat+nginx 绘图时url不能模糊搜索的问题 1.修改之前nginx 日志配置为 这里$request_time和$upstream_response_time打上引号是因为，如果取不到这个值，这个值就位 - ，logstash会报错，所以就由字符串再转为float类型 log_fo ...
分类：
Web程序 时间：
2019-11-29 11:16:25
阅读次数：
119
Elasticsearch+logstash+kibana
分类：
其他好文 时间：
2019-11-28 15:08:19
阅读次数：
64
收集系统其它服务日志，在客户端node1 上操作，示例以openstack-nova 服务的日志为例： 1.先修改配置文件 /etc/rsyslog.conf，完整内容如下： [root@node1 ~]# egrep -v '^#|^$' /etc/rsyslog.conf $ModLoad im ...
分类：
其他好文 时间：
2019-11-28 13:32:01
阅读次数：
169
Kibana数据可视化 1，3.1使用logstash导入数据的问题 会出现错误提示： 错误原因是创建的mapping为accident，但是默认覆盖的mapping默认为doc，与之前创建的不一样； 本机ELK版本为6.2.4；logstash对于处理过的数据不会重复处理，需要删除data文件夹里 ...
分类：
其他好文 时间：
2019-11-25 13:46:42
阅读次数：
102
1.添加bash全局配置文件：cd/etc/profile.dvilog_command.sh输入如下内容：exportPROMPT_COMMAND=‘RETRN_VAL=$?;logger-plocal6.debug"$(whoami)[$$]:$(history1|sed"s/^[]*[0-9]\+[]*//")[$RETRN_VAL]"‘2.添加rsyslog配置文件bash.conf:vi
分类：
系统相关 时间：
2019-11-24 15:50:12
阅读次数：
138
Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地,logstash丰富的插件(logstash-input-jdbc,logstash-input-kafka,logstash-input-rabbi ...
分类：
其他好文 时间：
2019-11-24 14:09:54
阅读次数：
225
