一、Mapping概述 为了能够把日期字段处理成日期,把数字字段处理成数字,把字符串字段处理成Full-text或者精确的字符串值。 ES需要知道每个字段里面都包含了什么类型。这些类型和字段的信息存储(包含)在映射(mapping)中。 索引中每个文档都有一个类型(type)。每个类型都拥有自己的映 ...
分类:
移动开发 时间:
2016-11-12 23:09:19
阅读次数:
470
elasticsearch 自定义ID: 启动本地es,然后写入数据,data2.json: 通过批量插入上述数据: 可以看到新生成的文档_id为uuid的数值! ...
分类:
其他好文 时间:
2016-11-11 22:44:30
阅读次数:
392
在中小型企业,公司不同运维人员基本都是以root账户进行服务器的登陆管理,缺少了账户权限审计制度。不出问题还好,出了问题,就很难找出源头。这里介绍下,如何利用编译bash使不同的客户端在使用root登陆服务器使,记录各自的操作,并且可以在结合ELK日志分析系统,来收集登陆..
分类:
系统相关 时间:
2016-11-11 20:49:14
阅读次数:
195
路由文档到分片 当你索引一个文档,它被存储在单独一个主分片上。Elasticsearch是如何知道文档属于哪个分片的呢?当你创建一个新文档,它是如何知道是应该存储在分片1还是分片2上的呢? 进程不能是随机的,因为我们将来要检索文档。事实上,它根据一个简单的算法决定: routing值是一个任意字符串 ...
分类:
其他好文 时间:
2016-11-11 20:40:15
阅读次数:
163
ELK是日志收益与分析的利器。 1、elasticsearch集群搭建 略 2、logstash日志收集 我这里的实现分如下2步,中间用redis队列做缓冲,可以有效的避免es压力过大: 1、n个agent对n个服务的log做日志收集(1对1的方式),从日志文件解析数据,存入broker,这里用的是 ...
分类:
其他好文 时间:
2016-11-11 14:08:34
阅读次数:
213
下一篇 Elastic Search基础(2) 一、ES介绍 Gitbook[中文未完整]: http://learnes.net/ Gitbook[英文完整]:https://allen8807.gitbooks.io/elasticsearch-definitive-guide-en/conte ...
分类:
其他好文 时间:
2016-11-11 01:26:32
阅读次数:
196
上一篇 ES基础(1) 官网原地址:https://www.elastic.co/guide/en/elasticsearch/reference/1.7/_cluster_health.html ES权威指南: http://es.xiaoleilu.com/ 一、Exploring Your C ...
分类:
其他好文 时间:
2016-11-11 01:11:07
阅读次数:
583
最近整理了两个方案,抽时间整理成文,以便以后翻阅;1,研究了一段时间ELK,案例是分析线上nginx日志,汇总统计报表,在这一面,ELK的确很强大2.为了提高自动生成kvmwindows虚拟机的效率,研究了自动配置Ip,自动封装系统,无人值守的kvmwindows自动生成方案,费了些时间实在..
官方的安装指令是:bin/plugininstalllogstash-output-webhdfs但是往往安装不成功,一般就是如下情况,然后卡着不动了:Validatinglogstash-output-webhdfs。。。原因是防火墙挡掉了logstash的默认gemsourcecatGemfile|grepsource
#source"https://rubygems.org"修改gemsource为..
分类:
其他好文 时间:
2016-11-10 21:49:17
阅读次数:
412
关于Elasticsearch的几个概念: 1)在Elasticsearch中,文档归属于类型type,而类型归属于索引index,为了方便理解,可以把它们与传统关系型数据库做类比: Relational DB -> DataBases -> Tables -> Rows -> Columns El ...
分类:
其他好文 时间:
2016-11-10 13:47:13
阅读次数:
256