FQDN是Fully Qualified Domain Name的缩写, 含义是完整的域名. 例如, 一台机器主机名(hostname)是www, 域后缀(domain)是example.com, 那么该主机的FQDN应该是 www.example.com.另外, 其实FQDN最后是以”.”来结尾的 ...
分类：
系统相关 时间：
2019-01-28 14:04:39
阅读次数：
173
1.tcpping tcp和udp协议 使用syc ack 状况判断 ping icmp协议2.tracert window 路由及延迟查看 3.缓存cache及buffer缓冲 sync清理缓存缓存清理 echo 3 > /proc/sys/vm/drop_cache (可以echo 0 1 2 ...
分类：
其他好文 时间：
2019-01-25 11:39:08
阅读次数：
203
需求 kafka中的message带有key，带有相同key值的message后入kafka的意味着更新message，message值为null则意味着删除message。 用logstash来同步kafka中这样的数据入Elasticsearch，从而实现可以同步增删改数据。 环境 解决(Log ...
分类：
其他好文 时间：
2019-01-24 21:54:28
阅读次数：
452
ELK提供了一系列采集方案。但对于从app端过来的日志，没有接收模块。一种方案可以用logstash打开socket端口接收，需要客户端配合。这里提供通过http的方案。接收服务器采用springboot实现收集，发送日志到kafka。也可以直接写文件，用fileBeat读取发送到kafka。从ka ...
分类：
其他好文 时间：
2019-01-24 17:56:53
阅读次数：
128
搜索是大数据领域里常见的需求。Splunk和ELK分别是该领域在非开源和开源领域里的领导者。本文利用很少的Python代码实现了一个基本的数据搜索功能，试图让大家理解大数据搜索的基本原理。 布隆过滤器 （Bloom Filter） 第一步我们先要实现一个布隆过滤器。 布隆过滤器是大数据领域的一个常见 ...
分类：
编程语言 时间：
2019-01-24 13:22:49
阅读次数：
218
纵观任何一家大数据平台的技术架构，总少不了ElasticSearch；ES作为溶合了后端存储、快速检索、OLAP分析等功能的一套开源组件，更绝的是提供了一套集数据采集与前端展现为一体的框架（即ELK）， 在我们的应用过程中，与ES集成的前端框架包含有Kibana、Grafana等系统，实际应用过程中 ...
分类：
其他好文 时间：
2019-01-23 17:33:14
阅读次数：
1039
Logstash最强大的功能在于丰富的过滤器插件。此过滤器提供的并不单单是过滤的功能，还可以对进入过滤器的原始数据进行复杂的逻辑处理。甚至添加独特的事件到后续流程中。 1、logstash基本语法组成 logstash主要由三部分组成：input、filter、output。而filter就是过滤器 ...
分类：
其他好文 时间：
2019-01-22 15:08:46
阅读次数：
246
select (select relname from pg_class where oid=a.attrelid) relname , (select relname||'--'||(select description from pg_description where objoid=oid a... ...
分类：
数据库 时间：
2019-01-19 22:12:48
阅读次数：
589
1.flume的基础介绍（1）常用的数据收集工具 -Chukwa（Apache） -Scribe（Facebook） -Fluentd：Fluentd使用C/Ruby开发，使用JSON文件来统一日志数据。 -Logstash（著名的开源数据栈ELK（ElasticSearch，Logstash，Kibana）中
分类：
Web程序 时间：
2019-01-17 14:09:05
阅读次数：
215
Filter grok：进行正则匹配 ruby：使用ruby代码调整输出内容 kv：进行基于单一分隔符的键值匹配 date：时间匹配到·timestamp mutate：调整输出 Output 待续 ...
分类：
其他好文 时间：
2019-01-17 12:46:24
阅读次数：
195
