面试题 一、Hadoop 1.Hadoop面试题总结（一） 2.Hadoop面试题总结（二）——HDFS 3.Hadoop面试题总结（三）——MapReduce 4.Hadoop面试题总结（四）——YARN 5.Hadoop面试题总结（五）——优化问题 二、Zookeeper 1.Zookeeper ...
分类：
其他好文 时间：
2021-03-02 11:41:45
阅读次数：
0
1.概述 在大数据的浪潮下，时时刻刻都会产生大量的数据。比如社交媒体、博客、电子商务等等，这些数据会以不同的类型存储在不同的平台里面。为了执行ETL（提取、转换、加载）操作，需要一个消息中间件系统，该系统应该是异步和低耦合的，即来自各种存储系统（如HDFS、Cassandra、RDBMS等）的数据可 ...
分类：
其他好文 时间：
2021-03-01 13:50:00
阅读次数：
0
1. 介绍 Zookeeper 的文件系统 Zookeeper 提供一个多层级的节点命名空间（节点称为 znode）。与文件系统不同的是，这些节点都可以设置关联的数据，而文件系统中只有文件节点可以存放数据而目录节点不行。Zookeeper为了保证高吞吐和低延迟，在内存中维护了这个树状的目录结构，这种 ...
分类：
其他好文 时间：
2021-03-01 13:21:01
阅读次数：
0
四、分布式锁 传统的锁可解决在一台服务器上多个线程之间的并发冲突，但有些场景下多台服务器需要进行同一操作，这时为了协调多台服务器就需要分布式锁（由第三方提供锁）。分布式锁常用的是两种实现方式：使用Redis或Zookeeper。 4.1Redis自带的原语 Redis是一个key value数据库， ...
分类：
其他好文 时间：
2021-03-01 13:19:18
阅读次数：
0
集群角色： leader：负责事务读写操作， follower：读操作，把写操作交给leader，投票 observer：除了不投票几乎和follower一致 ZXID: 分布式事务id，全局唯一，一般作为事务id使用 会话： 每次服务端连接建立，存在一个会话，和服务端的通讯。一般会创建一个零时节点 ...
分类：
其他好文 时间：
2021-03-01 12:59:32
阅读次数：
0
现在的mq产品主流有4中：rabbitmq，rocketmq，activemq，kafka；有时候很意外的是：学的其中一个，公司用的又是另外一个，导致学习成本提高。有或者是 业务服务使用rabbitmq，而数据库后台使用kafka，整个项目使用了2种mq，可能会导致切换困难，维护成本高等因素。 我们 ...
分类：
编程语言 时间：
2021-02-27 12:58:02
阅读次数：
0
本文作者：HelloGitHub-老荀 Hi，这里是 HelloGitHub 推出的 HelloZooKeeper 系列，免费开源、有趣、入门级的 ZooKeeper 教程，面向有编程基础的新手。 本系列教程是从零开始讲解 ZooKeeper，内容从最基础的安装使用到背后原理和源码的讲解，整个系列希 ...
分类：
其他好文 时间：
2021-02-25 12:19:55
阅读次数：
0
zookeeper zookeeper安装配置 从官网下载zookeeper的安装包:官网推荐的zookeeper镜像下载网站 将zookeeper的压缩包解压到指定安装目录 在zookeeper安装目录新建 data 和 log 文件夹,将conf目录下的 zoo_sample.cfg 文件，复制 ...
分类：
其他好文 时间：
2021-02-23 14:36:36
阅读次数：
0
?曾经在你的应用程序中使用过异步处理吗?在处理不需要立即执行的任务时，异步代码似乎是不可避免的。Apache Kafka是最常用和最健壮的开源事件流平台之一。许多公司和开发者利用它的强大功能来创建高性能的异步操作，用于微服务的数据集成，以及用于应用程序健康指标的监控工具。这篇文章解释了在.NET应用 ...
分类：
Web程序 时间：
2021-02-23 14:04:35
阅读次数：
0
安装部署 先下载zookeeper、kafka zookeeper下载地址：Download kafka下载地址：Download 集群规划 hadoop001 hadoop002 zk zk kafka kafka 集群部署 1) 解压安装包 [root@hadoop001 software]# ...
分类：
其他好文 时间：
2021-02-22 12:46:23
阅读次数：
0
