搜索是大数据领域里常见的需求。Splunk和ELK分别是该领域在非开源和开源领域里的领导者。本文利用很少的Python代码实现了一个基本的数据搜索功能，试图让大家理解大数据搜索的基本原理。 布隆过滤器 （Bloom Filter） 第一步我们先要实现一个布隆过滤器。 布隆过滤器是大数据领域的一个常见 ...
分类：
编程语言 时间：
2019-01-24 13:22:49
阅读次数：
218
纵观任何一家大数据平台的技术架构，总少不了ElasticSearch；ES作为溶合了后端存储、快速检索、OLAP分析等功能的一套开源组件，更绝的是提供了一套集数据采集与前端展现为一体的框架（即ELK）， 在我们的应用过程中，与ES集成的前端框架包含有Kibana、Grafana等系统，实际应用过程中 ...
分类：
其他好文 时间：
2019-01-23 17:33:14
阅读次数：
1039
MySQL是关系型数据库 优势： 在不同的引擎上有不同 的存储方式。 查询语句是使用传统的sql语句，拥有较为成熟的体系，成熟度很高。 开源数据库的份额在不断增加，mysql的份额页在持续增长。 缺点： 在海量数据处理的时候效率会显著变慢。 Mongodb是非关系型数据库(nosql )，属于文档型 ...
分类：
数据库 时间：
2019-01-22 19:09:16
阅读次数：
190
Logstash最强大的功能在于丰富的过滤器插件。此过滤器提供的并不单单是过滤的功能，还可以对进入过滤器的原始数据进行复杂的逻辑处理。甚至添加独特的事件到后续流程中。 1、logstash基本语法组成 logstash主要由三部分组成：input、filter、output。而filter就是过滤器 ...
分类：
其他好文 时间：
2019-01-22 15:08:46
阅读次数：
246
测试方案： 主要从几个方面关注，功能 性能 服务端策略（目前所有的这些上报收集等都会通过开关的精细化，通过接口方式将信息返回给APP端，APP端根据相关内容进行上报，因此基于此的上报机制及收集机制都需要清晰） 性能部分，需要关注，如果是日志收集，关注收集周期以及类型，例如有些情况是包含了debug的 ...
分类：
移动开发 时间：
2019-01-21 19:28:51
阅读次数：
257
select (select relname from pg_class where oid=a.attrelid) relname , (select relname||'--'||(select description from pg_description where objoid=oid a... ...
分类：
数据库 时间：
2019-01-19 22:12:48
阅读次数：
589
1.flume的基础介绍（1）常用的数据收集工具 -Chukwa（Apache） -Scribe（Facebook） -Fluentd：Fluentd使用C/Ruby开发，使用JSON文件来统一日志数据。 -Logstash（著名的开源数据栈ELK（ElasticSearch，Logstash，Kibana）中
分类：
Web程序 时间：
2019-01-17 14:09:05
阅读次数：
215
Filter grok：进行正则匹配 ruby：使用ruby代码调整输出内容 kv：进行基于单一分隔符的键值匹配 date：时间匹配到·timestamp mutate：调整输出 Output 待续 ...
分类：
其他好文 时间：
2019-01-17 12:46:24
阅读次数：
195
研究表明，数据泄露与不合规之间存在直接关联。这并不是说合规公司的数据永远不会遭到破坏，而是强调事件检测和响应的重要性。企业已经开始意识到数据泄露的破坏性后果-他们的财务和声誉受到威胁，因此许多人在过去几年中采取措施来遵守PCIDSS和安全等级保护规则。主要目标通常是强调实现持续合规。考虑到这一点，主动安全监控控制变得比以往任何时候都更加重要。日志管理是IT安全专家多年来所强调的，SIEM解决方案已
分类：
其他好文 时间：
2019-01-16 17:23:52
阅读次数：
239
一、背景介绍 1、在微服务时代，服务与服务之间的调用关系错综复杂，某一服务出问题可能会导致整条链路雪崩。 2、微服务的请求链路长、涉及服务多、排查问题难，我们如何快速的定位到异常服务，尽快解决生产问题 3、我们保持对业界方案关注的同时，如：zipkin、skywalking、ELK等，如何结合自身项 ...
分类：
其他好文 时间：
2019-01-15 00:58:47
阅读次数：
301
