单机版Kafka搭建参考：【Kafka】 Kafka安装 Kafka集群搭建 环境系统：CentOS 7.4 kafka版本：2.6.0 由于资源有限，只有一台服务器，本例搭建的是一个伪集群Kafka环境 1、搭建一个zookeeper集群，参考：【ZooKeeper】ZooKeeper安装及简单操 ...
分类：
其他好文 时间：
2020-11-23 12:20:32
阅读次数：
6
ApacheRanger简介ApacheRanger提供一个集中式安全管理框架,并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问权限。Ranger优点：丰富的组件支持（HDFS，HBASE，HIVE，YARN，KAFKA，STORM）提供了细粒度级权限控制（h
分类：
其他好文 时间：
2020-11-18 13:10:32
阅读次数：
10
Hadoop/Hive自带权限控制集群安全下需求：支持多组件，最好能支持当前大数据技术栈的主要组件，HDFS、HBASE、HIVE、YARN、KAFKA等支持细粒度的权限控制，可以达到HIVE列，HDFS目录，HBASE列,YARN队列开源，社区活跃，按照现有的集群情况改动尽可能的小，而且要符合业界的趋势。现有方案：Hadoop、Hive本身的权限控制Kerberos安全认证ApacheRange
分类：
其他好文 时间：
2020-11-18 12:15:31
阅读次数：
8
1. 产品的架构是数据采集到 kafka，由 flink 读取，送入ES 2. 这个过程中，涉及： kafka分区数，flink并行度，ES 分区数和副本 3. kafka 分区数决定了后面 flink 的并行度，最好是 kafka 的分区数和 flink 的并行度一致 4. 写入 ES 时，需要先 ...
分类：
其他好文 时间：
2020-11-16 14:01:57
阅读次数：
18
12个行业月均阅读超100亿，看Spark如何助力微博Feed算法提升活跃度#编者按：本文由高可用架构向黄波约稿，介绍黄波在SparkSummitChina2016中的演讲精华，并侧重对微博系统和Feed系统进行了更多的介绍。黄波，2010年加入新浪微博，微博研发中心Feed技术专家，负责微博Feed流排序和推荐相关项目。目前专注于基于Spark、Storm等计算平台的大数据处理，致力于将分布式计
分类：
编程语言 时间：
2020-11-16 13:06:48
阅读次数：
9
RabbitMQ的基本使用 一、引言 模块之间的耦合度多高，导致一个模块宕机后，全部功能都不能用了， 并且同步通讯的成本过高，用户体验差。 RabbitMQ引言 二、RabbitMQ介绍 市面上比较火爆的几款MQ： ActiveMQ，RocketMQ，Kafka，RabbitMQ。 语言的支持：Ac ...
分类：
其他好文 时间：
2020-11-07 17:04:31
阅读次数：
25
1、为什么Kafka有很高的吞吐量？ 1、分区设计，分区分散在多个服务器中实现水平扩展 2、批量写入和读出，查看在kafka的实现会发现，kafka写入和读出的单位是一个消息集合，而不是单条消息 2、分区可以随时增加或减少吗？ 不可以，在设计一个topic时要考虑具体需要多少分区，一旦决定好就不能改 ...
分类：
其他好文 时间：
2020-11-06 01:44:21
阅读次数：
14
知乎基于Kubernetes的kafka平台的设计和实现我是知乎技术中台工程师，负责知乎存储相关的组件。我的分享主要基于三个，第一，简单介绍一下Kafka在知乎的应用，第二，为什么做基于Kubernetes的Kafka平台。第三，我们如何去实现基于Kubernetes的kafka平台。Kafka在知乎的应用Kafka是一个非常优秀的消息或者数据流的组件，在知乎承载了日志、数据收集、消息队列等服务，
分类：
Web程序 时间：
2020-11-06 01:08:22
阅读次数：
22
在讲kafka使用之前，可以简要介绍一下安装local版本： 在linux下安装本地版（localhost）： 1. 首先下载 kafka：http://kafka.apache.org/downloads 2. 其次解压（命令：tar -xzf kafka_2.12-2.6.0.tgz）到某个文件 ...
分类：
其他好文 时间：
2020-11-02 10:46:16
阅读次数：
36
Kafka 是一个优秀的分布式消息中间件，许多系统中都会使用到 Kafka 来做消息通信。对分布式消息系统的了解和使用几乎成为一个后台开发人员必备的技能。今天就从常见的 Kafka 面试题入手，和大家聊聊 Kafka 的那些事儿。
分类：
其他好文 时间：
2020-11-02 09:47:04
阅读次数：
18
