前言 观今宜鉴古，无古不成今。在学习elasticsearch之前，我们要知道，elasticsearch是什么？为什么要学习elasticsearch？以及用它能干什么？ 关于elasticsearch 现在，你还离得开搜索吗？无论是Google还是百度提供的搜索入口，还是项目自己的搜索，比如QQ ...
分类：
其他好文 时间：
2019-04-21 20:09:10
阅读次数：
157
Graylog简介Graylog是一个开源且完整的日志聚合、管理工具，提到日志管理想必大家都会想到ELK平台，Graylog功能和ELK类似，但又比ELK要易用，相对的日志分析能力以及一些功能没有ELK强大。所以Graylog与ELK各有优劣，ELK被诟病的地方主要是不善于处理多行日志，同时也不能保留原始日志格式，只能把原始日志分字段保存，因为不符合正则表达式匹配的日志行，会被全部丢弃。而Gray
分类：
其他好文 时间：
2019-04-19 01:15:56
阅读次数：
358
goaccess 是一个不错的日志分析工具，包含了json 数据同时支持基于websocket 的实时数据处理，当然我们可以通过jsonpath 的exporter 转换为支持promethues 的metrics，还是很方便的 环境准备 docker-compose 文件 version: "3"... ...
分类：
数据库 时间：
2019-04-11 13:20:44
阅读次数：
556
消息队列作为分布式系统中重要的组件，可以解决应用耦合，异步消息，流量削锋等系列问题 实现高性能，高可用，可伸缩和最终一致性架构 使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ 消息队列应用场景 以下介绍消息队列在实际应用中常用的使用场 ...
分类：
其他好文 时间：
2019-04-07 22:23:18
阅读次数：
196
（3.14）mysql基础深入——mysql 日志分析工具之pt-querty-digest 关键字：Mysql日志分析工具、mysqlsla 常用工具 【1】mysqldumpslow：官方提供的慢查询日志分析工具 【2】mysqlbinlog：二进制日志分析工具 【3】myprofi：对于只想看 ...
分类：
数据库 时间：
2019-03-25 01:17:58
阅读次数：
254
MySQL中的日志包括：错误日志、二进制日志、通用查询日志、慢查询日志等等。这里主要介绍下比较常用的两个功能：通用查询日志和慢查询日志。 1）通用查询日志：记录建立的客户端连接和执行的语句。2）慢查询日志：记录所有执行时间超过long_query_time秒的所有查询或者不使用索引的查询 （1）通用 ...
分类：
数据库 时间：
2019-03-21 21:49:44
阅读次数：
244
Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的。
分类：
其他好文 时间：
2019-03-21 15:48:41
阅读次数：
194
为什么用到ELK： 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集 ...
分类：
其他好文 时间：
2019-03-20 19:07:52
阅读次数：
217
ELK平台介绍 在搜索ELK资料的时候，发现这篇文章比较好，于是摘抄一小段： 以下内容来自：http://baidu.blog.51cto.com/71938/1676798 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误 ...
分类：
其他好文 时间：
2019-03-16 16:57:17
阅读次数：
276
简介 hadoop解决问题： 海量数据的存储(HDFS) 海量数据的分析(MapReduce) 资源管理调度(YARN) 受Google三篇论文启发：GFS、MapReduce、BigTable Hadoop功能： 擅长海量离线日志分析 Hadoop如何解决海量数据的存储？ 若干被称为Datanod ...
分类：
其他好文 时间：
2019-03-10 11:13:06
阅读次数：
160
