在上一篇中简略的说了一下es同步数据脚本的大致情况，但是实际情况里肯定不会像上一篇里面的脚本那么简单。比如目前我就有三张表，两张实体表，一张关联表。大致实现如下： bin目录建立一个statefile.json文件： 主要是lastexecutionstart设置为0，为了让第一次执行能进行一次全量 ...
分类：
数据库 时间：
2016-05-13 19:00:41
阅读次数：
506
文档为何物？一个对象就相当于mysql的一个record记录参考:http://www.learnes.net/data/README.htmlcurl192.168.100.10:9200?preety
curl192.168.100.10:9200/_count?prettyshell中的curl的用法-X指定请求方法默认是-XGET-i返回数据的时候，也一并返回请求结果-d发送的数据这个..
很多时候我们需要对日志做一个集中式的处理，但是通常情况下这些日志都分布到n台机器上面，导致一个结果就是效率比较低，而ELK平台可以帮助我们解决这么一件事情； ELK下载：https://www.elastic.co/downloads/ 组件说明： 1）Elasticsearch是个开源分布式搜索引 ...
分类：
其他好文 时间：
2016-05-13 12:05:04
阅读次数：
241
一、架构方案如下图： 二、各个组件的安装方案如下： 1）、zookeeper+kafka http://www.cnblogs.com/super-d2/p/4534323.html 2）hbase http://www.cnblogs.com/super-d2/p/4755932.html 3)f ...
分类：
Web程序 时间：
2016-05-13 11:35:01
阅读次数：
1127
映射（mapping） 映射是定义一个文档以及其所包含的字段如何被存储和索引的方法。 例如，用映射来定义以下内容： 哪些 string 类型的 field 应当被当成当成 full-text 字段 哪些字段应该是数值类型、日期类型或者是地理位置信息 日期类型字段的格式是怎么样的 是否文档的所有字段都 ...
分类：
移动开发 时间：
2016-05-13 10:54:29
阅读次数：
203
Elasticsearch简介
ElasticSearch是一个开源的分布式搜索引擎，具备高可靠性，支持非常多的企业级搜索用例。是基于Lucene构建的。
支持时间时间索引和全文检索。它对外提供一系列基于java和http的api，用于索引、检索、修改大多数配置。
ElasticSearch是基于lucence开发的，也就是运行需要java jdk支持。所以需要配置好java的环境变量
...
分类：
其他好文 时间：
2016-05-12 23:02:57
阅读次数：
217
Elasticsearch是一个高度可扩展的开源的全文搜索和分析引擎，它可以接近实时的快速的存储、搜索、分析大量的数据
基本概念
对es有几个核心概念，开始学习之前理解这些概念将极大的帮助你理解后面的学习
Near Realtime（NRT)--接近实时
elasticsearch 是一个接近实时的搜索平台。通俗的讲就是，从你索引一个文档直到这个文档可被搜索会有一段时间的延...
分类：
其他好文 时间：
2016-05-12 18:28:46
阅读次数：
137
我们在用Logstash收集日志的时候会碰到日志会错行，这个时候我们需要把错的行归并到上一行，使某条数据完整；也防止因为错行导致其他字段的不正确。
在Logstash-filter插件中，multiline插件可以解决这个问题，举个例子如下：
假如我们的日志形式如下：
2016-04-05 13:39:52.534 1.28.253.193 20160311090433074f5b47c04...
分类：
其他好文 时间：
2016-05-12 18:28:06
阅读次数：
669
前言：
在Lucene4.x之后，出现一个重大的特性，就是索引支持DocValues，这对于广大的solr和elasticsearch用户，无疑来说是一个福音，这玩意的出现通过牺牲一定的磁盘空间带来的好处主要有两个：
（1）节省内存
（2）对排序，分组和一些聚合操作时能够大大提升性能
下面来详细介绍下DocValue的原理和使用场景
（一）什么是DocValues？
...
分类：
Web程序 时间：
2016-05-12 15:57:02
阅读次数：
176
项目中监控框架中用到JMXProxyBeat，在此学习已做记录。
官网文档位置https://github.com/radoondas/jmxproxybeat。
JMXProxyBeat
是一个简单的beat，检索tomcat jmx中的指标值的工具。检索出的数据提供给LogStash或者Elasticsearch呈现。jmx指标是通过在tomcat中配置“JMX Proxy Ser...
分类：
其他好文 时间：
2016-05-12 12:51:23
阅读次数：
271
