为什么用Zookeeper 官方地址:https://zookeeper.apache.org/doc/current/zookeeperOver.html redis不能保证实时一致性和强一致性(最终一致性) ZooKeeper实施对高性能,高可用性,严格排序的访问给予了高度重视 ZooKeepe ...
分类:
其他好文 时间:
2021-03-03 11:54:16
阅读次数:
0
1.用图表描述Hadoop生态系统的各个组件及其关系。 Hadoop生态系统除了核心的HDFS和MapReduce以外,Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。 (1).HDFS:具有处理超大数据、流式 ...
分类:
其他好文 时间:
2021-03-02 12:28:59
阅读次数:
0
vim sqoop-env.sh export HADOOP_HOME=/apps/hadoop export HADOOP_MAPRED_HOME=/apps/hadoop export HIVE_HOME=/apps/hive export ZOOKEEPER_HOME=/apps/zookee ...
分类:
其他好文 时间:
2021-03-02 12:20:39
阅读次数:
0
面试题 一、Hadoop 1.Hadoop面试题总结(一) 2.Hadoop面试题总结(二)——HDFS 3.Hadoop面试题总结(三)——MapReduce 4.Hadoop面试题总结(四)——YARN 5.Hadoop面试题总结(五)——优化问题 二、Zookeeper 1.Zookeeper ...
分类:
其他好文 时间:
2021-03-02 11:41:45
阅读次数:
0
1. Cannot determine embedded database driver class for database type NONE @SpringBootApplication(exclude = {DataSourceAutoConfiguration.class}) 2. \ta ...
分类:
其他好文 时间:
2021-03-01 13:58:00
阅读次数:
0
Dubbo服务暴露的过程整体分为:生成Invoker、根据不同的协议(protocol)将Invoker转换成Exporter。 生成Invoker 生成Invoker的代码: Invoker<?> invoker = proxyFactory.getInvoker(ref, (Class) int ...
分类:
其他好文 时间:
2021-03-01 13:35:13
阅读次数:
0
Dubbo系列之 (五)服务订阅(2) 辅助链接 Dubbo系列之 (一)SPI扩展 Dubbo系列之 (二)Registry注册中心-注册(1) Dubbo系列之 (三)Registry注册中心-注册(2) Dubbo系列之 (四)服务订阅(1) Dubbo系列之 (五)服务订阅(2) 服务订阅, ...
分类:
其他好文 时间:
2021-03-01 13:22:33
阅读次数:
0
1. 介绍 Zookeeper 的文件系统 Zookeeper 提供一个多层级的节点命名空间(节点称为 znode)。与文件系统不同的是,这些节点都可以设置关联的数据,而文件系统中只有文件节点可以存放数据而目录节点不行。Zookeeper为了保证高吞吐和低延迟,在内存中维护了这个树状的目录结构,这种 ...
分类:
其他好文 时间:
2021-03-01 13:21:01
阅读次数:
0
四、分布式锁 传统的锁可解决在一台服务器上多个线程之间的并发冲突,但有些场景下多台服务器需要进行同一操作,这时为了协调多台服务器就需要分布式锁(由第三方提供锁)。分布式锁常用的是两种实现方式:使用Redis或Zookeeper。 4.1Redis自带的原语 Redis是一个key value数据库, ...
分类:
其他好文 时间:
2021-03-01 13:19:18
阅读次数:
0
集群角色: leader:负责事务读写操作, follower:读操作,把写操作交给leader,投票 observer:除了不投票几乎和follower一致 ZXID: 分布式事务id,全局唯一,一般作为事务id使用 会话: 每次服务端连接建立,存在一个会话,和服务端的通讯。一般会创建一个零时节点 ...
分类:
其他好文 时间:
2021-03-01 12:59:32
阅读次数:
0