单机版Kafka搭建参考：【Kafka】 Kafka安装 Kafka集群搭建 环境系统：CentOS 7.4 kafka版本：2.6.0 由于资源有限，只有一台服务器，本例搭建的是一个伪集群Kafka环境 1、搭建一个zookeeper集群，参考：【ZooKeeper】ZooKeeper安装及简单操 ...
分类：
其他好文 时间：
2020-11-23 12:20:32
阅读次数：
6
ApacheRanger简介ApacheRanger提供一个集中式安全管理框架,并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问权限。Ranger优点：丰富的组件支持（HDFS，HBASE，HIVE，YARN，KAFKA，STORM）提供了细粒度级权限控制（h
分类：
其他好文 时间：
2020-11-18 13:10:32
阅读次数：
10
Hadoop/Hive自带权限控制集群安全下需求：支持多组件，最好能支持当前大数据技术栈的主要组件，HDFS、HBASE、HIVE、YARN、KAFKA等支持细粒度的权限控制，可以达到HIVE列，HDFS目录，HBASE列,YARN队列开源，社区活跃，按照现有的集群情况改动尽可能的小，而且要符合业界的趋势。现有方案：Hadoop、Hive本身的权限控制Kerberos安全认证ApacheRange
分类：
其他好文 时间：
2020-11-18 12:15:31
阅读次数：
8
ELK--使用redis与logstash结合收集数据
分类：
其他好文 时间：
2020-11-18 12:15:15
阅读次数：
5
1. 产品的架构是数据采集到 kafka，由 flink 读取，送入ES 2. 这个过程中，涉及： kafka分区数，flink并行度，ES 分区数和副本 3. kafka 分区数决定了后面 flink 的并行度，最好是 kafka 的分区数和 flink 的并行度一致 4. 写入 ES 时，需要先 ...
分类：
其他好文 时间：
2020-11-16 14:01:57
阅读次数：
18
ELK----安装#!/bin/bash######部署elasticsearch软件####yuminstall-yexpectmkdir/abc/usr/bin/expect<<-EOFspawnmount.cifs//192.168.1.150/redhat7/abcexpect"*redhat7*"{send"123456\r"}expecteofEOF#1.安装elastic
分类：
其他好文 时间：
2020-11-16 13:05:56
阅读次数：
5
准备两个linux宿主机- linux-node1: Elasticsearch + Logstash + Kibana linux-node2: Logstash + redis linux-node1 安装 ELK 配置logstash将redis数据送给ES [root@linux-node1 ...
分类：
其他好文 时间：
2020-11-12 13:59:11
阅读次数：
7
作用 以前都是登陆到每个机器去看日志，特别是一个服务有多个机器集群部署，还要下载多个机器的日志(运维下载日志，然后给开发排查问题)，现在elk是集中式日志系统，所有的项目和项目集群都在一个日志系统里，而且可以搜索。 界面 组成 L是收集日志，还有解析日志 E是搜索引擎，就是ElasticSearch ...
分类：
其他好文 时间：
2020-11-11 15:48:34
阅读次数：
5
Flume概述官方文档：https://flume.apache.org/documentation.htmlFlume是一种分布式、高可靠和高可用的日志数据采集服务，可高效地收集、聚合和移动大量日志数据。它具有一种基于流数据的简单且灵活的体系结构。它具有健壮性和容错性，具有可调整的可靠性机制和许多故障切换和恢复机制。它使用一个简单的可扩展数据模型，允许在线分析应用程序。Flume架构及核心组件F
分类：
Web程序 时间：
2020-11-08 16:36:50
阅读次数：
26
RabbitMQ的基本使用 一、引言 模块之间的耦合度多高，导致一个模块宕机后，全部功能都不能用了， 并且同步通讯的成本过高，用户体验差。 RabbitMQ引言 二、RabbitMQ介绍 市面上比较火爆的几款MQ： ActiveMQ，RocketMQ，Kafka，RabbitMQ。 语言的支持：Ac ...
分类：
其他好文 时间：
2020-11-07 17:04:31
阅读次数：
25
