环境: 操作系统:ubuntu 12.10 64bit jdk:sun jdk 1.6 64bit hadoop:apache hadoop 1.02 hbase：apache hbase 0.92 先决条件:配置apache hadoop append,默认这个属性是false，需要设置为true ...
分类：
其他好文 时间：
2020-11-04 18:45:23
阅读次数：
16
点赞再看，养成习惯，微信搜索【三太子敖丙】关注这个互联网苟且偷生的工具人。本文GitHubhttps://github.com/JavaFamily已收录，有一线大厂面试完整考点、资料以及我的系列文章。前言锁我想不需要我过多的去说，大家都知道是怎么一回事了吧？在多线程环境下，由于上下文的切换，数据可能出现不一致的情况或者数据被污染，我们需要保证数据安全，所以想到了加锁。所谓的加锁机制呢，就是当一个
分类：
其他好文 时间：
2020-11-04 18:29:57
阅读次数：
17
[高级]Zookeeper介绍（四）——Zookeeper中的基本概念在介绍了Zookeeper的安装之后，就可以了解一下Zookeeper中的常用概念了。本文将主要介绍ZK中角色、数据模型、节点、ACL、watcher等概念。角色在Zookeeper概述中也提到过，Zookeeper的Follower在接到客户端请求之后会把请求转发到Leader，这里提到的Follower和Leader就是ZK
分类：
其他好文 时间：
2020-11-01 21:41:06
阅读次数：
23
[高级]Zookeeper介绍（二）——Zookeeper概述在Zookeeper介绍（一）——背景知识中介绍过，随着网站的不断发展，逐渐从集中式演变到分布式。但是，在分布式系统中存在着很多数据一致性的问题。那么，有没有什么系统或者组件能够帮助我们解决这些一致性问题呢？本文将简单介绍一个分布式服务协调组件——Zookeeper。什么是ZookeeperZookeeper是一个开放源码的分布式服务协
分类：
其他好文 时间：
2020-11-01 21:40:20
阅读次数：
14
前言Zab（ZookeeperAtomicBroadcast）是为ZooKeeper协设计的崩溃恢复原子广播协议，它保证zookeeper集群数据的一致性和命令的全局有序性。概念介绍在介绍zab协议之前首先要知道zookeeper相关的几个概念，才能更好的了解zab协议。集群角色Leader：同一时间集群总只允许有一个Leader，提供对客户端的读写功能，负责将数据同步至各个节点；Follower
分类：
其他好文 时间：
2020-11-01 10:57:53
阅读次数：
13
可能是Hadoop hdfs mapreduce最亲民的介绍
分类：
其他好文 时间：
2020-10-30 13:03:28
阅读次数：
17
配置 slaves [xiaoran@hadoop102 hadoop-2.7.2]$ vim etc/hadoop/slaves 添加（注意：一定不能有多余的空格和空行） hadoop102 hadoop103 hadoop104 同步所有节点配置文件 [xiaoran@hadoop102 had ...
分类：
其他好文 时间：
2020-10-29 10:44:54
阅读次数：
27
认知和学习Hadoop，我们必须得了解Hadoop的构成，我根据自己的经验通过Hadoop构件、大数据处理流程，Hadoop核心三个方面进行一下介绍： 一、 Hadoop组件 由图我们可以看到Hadoop组件由底层的Hadoop核心构件以及上层的Hadoop生态系统共同集成，而上层的生态系统都是基于 ...
分类：
其他好文 时间：
2020-10-29 10:11:31
阅读次数：
19
一、为什么会有分布式锁？ 在多线程环境下，由于上下文的切换，数据可能出现不一致的情况或者数据被污染，我们需要保证数据安全，所以想到了加锁。 所谓的加锁机制呢，就是当一个线程访问该类的某个数据时，进行保护，其他线程不能进行访问，直到该线程读取完，其他线程才可使用。 我们为了减少DB的压力，把库存预热到 ...
分类：
其他好文 时间：
2020-10-29 09:55:18
阅读次数：
18
在单点或者少数节点故障的情况下，集群还可以正常的提供服务，HDFS高可用机制可以通过配置Active/Standby两个NameNodes节点实现在集群中对NameNode的热备来消除单节点故障问题，如果单个节点出现故障，可通过该方式将NameNode快速切换到另外一个节点上。
分类：
其他好文 时间：
2020-10-29 09:35:04
阅读次数：
15
