最近在使用Lostash的过程中遇到了一个问题：在一个log文件里包含两类数据，而且两类数据之间存在父子关系，那如何使用lostash的configuration实现这个需求呢 思路： 在此要感谢elastic官方论坛的一个帖子:"keep global variable in logstash"， ...
分类：
其他好文 时间：
2016-08-19 00:38:28
阅读次数：
1476
近发现elasticsearch近期索引文件大的吓人，清理了下之前的索引文件，发现服务器性能大大的减轻了一半，想一直保留近一个月的索引文件，但是又不想每个月手动清楚，在此写了一个小脚本一、手动删除rm-rf*2016-07-*二、api删除curl-XDELETE‘http://127.0.0.1:9200/logstash-2016..
分类：
其他好文 时间：
2016-08-17 23:30:10
阅读次数：
1211
netbeans是php非常好用的ide，并且还是免费的！但是好多字体不支持中文，会显示如下乱码: 解决方法如下: 通过修改jre的配置文件成功解决了这个问题。 1. 进入jdk安装目录下/jre/lib文件夹，找到fontconfig.properties.src，拷贝为 fontconfig.p ...
分类：
Web程序 时间：
2016-08-13 11:20:13
阅读次数：
500
es集群里的masternode、datanode和clientnode到底是怎么个意思，分别有何特点？master节点主要功能是维护元数据，管理集群各个节点的状态，数据的导入和查询都不会走master节点，所以master节点的压力相对较小，因此master节点的内存分配也可以相对少些；但是master节点是最重..
分类：
其他好文 时间：
2016-08-12 22:18:52
阅读次数：
8282
es集群里的masternode、datanode和clientnode到底是怎么个意思，分别有何特点？master节点主要功能是维护元数据，管理集群各个节点的状态，数据的导入和查询都不会走master节点，所以master节点的压力相对较小，因此master节点的内存分配也可以相对少些；但是master节点是最重..
分类：
其他好文 时间：
2016-08-12 22:18:12
阅读次数：
173
1、介绍elk是实时日志分析平台，主要是为开发和运维人员提供实时的日志分析，方便人员更好的了解系统状态和代码问题。2、elk中的e（elasticsearch）:（2.1）先安装依赖包，官方文档说明使用java1.8yum-yinstalljava-1.8.0-openjdk安装elasticsearch：tarzvxfelasticsearch-1.7...
分类：
其他好文 时间：
2016-08-11 23:30:29
阅读次数：
814
记录下从安装到正常使用过程中跳过的坑1、java环境的问题，可以装高版本但一定不能低于它的要求例：2、版本兼容性的问题，3个软件都可以从官网上下载，而且下面都会有注释要求其他软件的版本官网下载地址：https://www.elastic.co/downloads例：3、针对elasticsearch，有很多插..
分类：
其他好文 时间：
2016-08-11 23:09:04
阅读次数：
656
Kafka与Logstash的数据采集 基于Logstash跑通Kafka还是需要注意很多东西，最重要的就是理解Kafka的原理。 Logstash工作原理 由于Kafka采用解耦的设计思想，并非原始的发布订阅，生产者负责产生消息，直接推送给消费者。而是在中间加入持久化层——broker,生产者把数 ...
分类：
其他好文 时间：
2016-08-07 21:34:46
阅读次数：
125
设置注册表默认字符，即可解决中文乱码问题。 'dbfDefault' 设置方法1.开始--运行，输入”Regedit“，打开注册表。2.如是用的是 10.x 版本 ArcGIS Desktop，定位到”My Computer\HKEY_CURRENT_USER\Software\ESRI\Deskt ...
分类：
移动开发 时间：
2016-08-05 17:38:08
阅读次数：
1072
单个进程 logstash 可以实现对数据的读取、解析和输出处理。但是在生产环境中，从每台应用服务器运行 logstash 进程并将数据直接发送到 Elasticsearch 里，显然不是第一选择：第一，过多的客户端连接对 Elasticsearch 是一种额外的压力；第二，网络抖动会影响到 log ...
分类：
其他好文 时间：
2016-08-04 13:10:28
阅读次数：
299
