最近公司项目中 有需要用ElasticSearch (后续简称ES) 集成 SQL 查询功能，并可以按照请求参数动态切换目标数据源，同事找到我帮忙实现该功能，以前没做过，只好赶鸭子上架， 网上很多资料不全，瞎琢磨半天终于完成,记录了一些实现过程中踩过的坑，便于大家借鉴。 我们测试环境部署的是 Ela ...
分类：
数据库 时间：
2020-11-19 12:37:22
阅读次数：
14
1、进入hbase shell 报内存不足 描述 做hbase数据迁移的时候，需要在目标集群创建与源端集群相同的表以及表属性，同时通过bulkload的方式加载数据。 目前迁移开启十个并发，一共迁移4千张表，失败了200+表的迁移。 看来这种迁移还是不能起太多并发，否则导致hbase regions ...
分类：
其他好文 时间：
2020-11-18 12:27:59
阅读次数：
7
1.分片内部基本结构 在一个分片中（Lucene），数据（数据原文和倒排索引）以段为单位存储，只有成为段的数据才能被检索。 因为文档先被缓存在内存中，创建倒排索引和其他索引结构之后才会成为段，才能被检索 就像下图中文档先被写入内存，为文档构建一系列索引之后成为段，并且写入磁盘，只有段才是 Searc ...
分类：
Web程序 时间：
2020-11-17 12:23:50
阅读次数：
17
1. 产品的架构是数据采集到 kafka，由 flink 读取，送入ES 2. 这个过程中，涉及： kafka分区数，flink并行度，ES 分区数和副本 3. kafka 分区数决定了后面 flink 的并行度，最好是 kafka 的分区数和 flink 的并行度一致 4. 写入 ES 时，需要先 ...
分类：
其他好文 时间：
2020-11-16 14:01:57
阅读次数：
18
执行代码 # PUT请求： http://IP地址：端口/t1 { "settings": { "index": { "number_of_shards": "2", "number_of_replicas": "0" } }, "mappings": { "person": { "properti ...
分类：
其他好文 时间：
2020-11-16 13:50:38
阅读次数：
8
Elasticsearch系列 00-ElasticSearch之-介绍 01-ElasticSearch之-安装 02-ElasticSearch之-插件介绍 03-ElasticSearch之-ElasticSearch-head 04-ElasticSearch之-安装Kibana 05-El ...
分类：
其他好文 时间：
2020-11-16 13:48:01
阅读次数：
9
ELK----安装#!/bin/bash######部署elasticsearch软件####yuminstall-yexpectmkdir/abc/usr/bin/expect<<-EOFspawnmount.cifs//192.168.1.150/redhat7/abcexpect"*redhat7*"{send"123456\r"}expecteofEOF#1.安装elastic
分类：
其他好文 时间：
2020-11-16 13:05:56
阅读次数：
5
准备两个linux宿主机- linux-node1: Elasticsearch + Logstash + Kibana linux-node2: Logstash + redis linux-node1 安装 ELK 配置logstash将redis数据送给ES [root@linux-node1 ...
分类：
其他好文 时间：
2020-11-12 13:59:11
阅读次数：
7
定义： 倒排索引 源于实际应用中需要根据 属性的值 来查找 记录 这种 索引表 中的 每一项 都包括 一个属性值 和 具有该属性值的各记录的地址 由于不是由记录来确定属性值，而是由 属性值 来确定 记录的位置，因而称为 倒排索引(inverted index) 带有倒排索引的文件 被称为 倒排索引文 ...
分类：
其他好文 时间：
2020-11-11 16:11:38
阅读次数：
6
作用 以前都是登陆到每个机器去看日志，特别是一个服务有多个机器集群部署，还要下载多个机器的日志(运维下载日志，然后给开发排查问题)，现在elk是集中式日志系统，所有的项目和项目集群都在一个日志系统里，而且可以搜索。 界面 组成 L是收集日志，还有解析日志 E是搜索引擎，就是ElasticSearch ...
分类：
其他好文 时间：
2020-11-11 15:48:34
阅读次数：
5
