/etc/rsyslog.conf $ModLoad imfile 加在imfile模块 $InputFileName filePath 监测日志路径 $InputFilePollInterval 10 轮询时间 $InputFileTag 标签 监测日志的标签 $InputFileStateFil ...
分类：
其他好文 时间：
2020-09-02 16:46:12
阅读次数：
64
安装JDK 第一步：上传JDK 的linux安装包 第二步：解压到安装目录 tar -xvzf jdk-8u11-linux-x64.tar.gz -C /usr/local 第三步：配置环境变量 vim /etc/profile #配置如下内容 #set java environment JAVA ...
分类：
其他好文 时间：
2020-08-29 16:37:19
阅读次数：
73
本篇文章主要是手把手教你搭建ELK实时日志分析平台，那么，ELK到底是什么呢？ELK是三个开源项目的首字母缩写，这三个项目分别是：Elasticsearch、Logstash和Kibana。Elasticsearch是一个搜索和分析引擎。Logstash是服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到诸如Elasticsearch等存储库中。Kibana则可以让用户在
分类：
其他好文 时间：
2020-08-28 11:57:17
阅读次数：
289
昨天在开发的过程中，自己设计的mysql的一个表是自增主键，但是在插入数据的过程中，发现主键冲突。具体如下：我们是通过kafka作为消息队列，三个consumer，每个cosumer进行一些逻辑运算以后进行插入操作，插入到表t_a表中，mybatis使用的下面配置useGeneratedKeys="true"keyProperty="id"servcie逻辑如下，我们一次获取到多条插入数据库对象的
分类：
其他好文 时间：
2020-08-20 18:30:12
阅读次数：
66
####首先保证Node891或Node811等版本装成功了###### /opt/bigdata/elk/node891 ################ 修改目录权限 #################### [root@vwmaster hadoop]# chown -R root:root ...
分类：
其他好文 时间：
2020-08-17 17:45:14
阅读次数：
70
# **Docker 快速安装**
wget http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
yum install docker-ce -y
//启动
service docker start
//设置开机启动
sy...
分类：
数据库 时间：
2020-08-17 16:50:46
阅读次数：
72
Linux概述 消息对列(Kafka、RabbitMQ、RockeetMQ)，缓存(Redis)，搜索引擎(ES) 集群分布式(需要购买多台服务器，如果没服务器我们就只能使用虚拟机) 我们为什么要学Linux Linux的几个优点 免费（这个是大多数人的喜欢的吧） 很多软件原生是在Linux运行的， ...
分类：
系统相关 时间：
2020-08-15 22:35:58
阅读次数：
177
1.flume简介 Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 2.安装和使用说明 ...
分类：
Web程序 时间：
2020-08-13 22:07:34
阅读次数：
83
前言：开发人员需要使用kafka集群，且要求需要用普通用户启动，整理了一下部署思路，其他中间件部署也可参考此思路来部署。前提条件：zookeeper集群kafka启动需要连接，因为kafka集群和zookeeper部署在同一租户下，我这边部署的zk集群地址为zk-0:2181,zk-1:2181,zk-2:2181,如果kafka和zookeeper不在一个租户下，跨租户访问，需要根据实际地址访问
分类：
其他好文 时间：
2020-08-13 12:31:17
阅读次数：
53
ActiveMQ介绍 MQ是消息中间件，是一种在分布式系统中应用程序借以传递消息的媒介，常用的有ActiveMQ，RabbitMQ，kafka。ActiveMQ是Apache下的开源项目，完全支持JMS1.1和J2EE1.4规范的JMS Provider实现。 特点： 1、支持多种语言编写客户端 2 ...
分类：
编程语言 时间：
2020-08-11 10:38:48
阅读次数：
71
