1、UpdateStateByKey、windows等有状态的操作时，自动进行checkpoint,必须设置checkpoint目录，数据保留一份在容错的文件系统中，一旦内存中的数据丢失，可以从文件系统中读取数据，不需要重新计算。 SparkStreaming.checkpoint("hdfs:// ...
分类：
其他好文 时间：
2018-09-20 23:53:12
阅读次数：
424
配置HDFS联盟，多个NameNode节点同时存活，根据代理配置的路由规则处理客户端不同的请求，实现负载均衡，同时也可以缓存更多的元信息，它与HA的区别在于，联盟是多个NameNode都是active，可以存储更多的元信息。
分类：
其他好文 时间：
2018-09-20 18:02:22
阅读次数：
163
Namenode 开启HA之后,由于zookeeper异常，出现脑裂现象 执行 standby standby 两个互为HA的namenode节点均处于standby 状态，随后执行 强行手工将namenode1状态转换为active PS： serverID即namenodeID，可以访问http ...
分类：
数据库 时间：
2018-09-19 22:02:14
阅读次数：
747
1、Hadoop生态概况 Hadoop是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点。大数据学习资料分享群119599574 Hadoop的核心是YARN,HDFS,Ma ...
分类：
其他好文 时间：
2018-09-19 12:50:26
阅读次数：
125
视频面试，上来就是一道算法题，LeetCode上的原题，440题(qaq,后悔当初没写到） 然后是java的一些问答题 Map的实现方式有哪些，分别是怎么实现的？ 常见的实现主要有HashMap(最常见的，内部无序的)、TreeMap(排过序的)及WeakMap（这个用于内存自动释放的）； 关于Ha ...
分类：
其他好文 时间：
2018-09-18 00:19:00
阅读次数：
243
Keepalived是一个基于VRRP协议来实现服务高可用方案。下载地址：http://www.keepalived.org/ keepalived-1.2.24.tar.gz VRRP协议：虚拟路由冗余协议 1.解压缩keepalived-1.2.24.tar.gz 2.进入keepalived的 ...
分类：
其他好文 时间：
2018-09-17 19:32:11
阅读次数：
127
xenserver集群正常关机。再次开机后，在xsconsole界面，网卡信息均不显示，xencenter不能正常连接，也ping不通。通过ILO虚拟控制台，进入到xenservercommand模式，键入以下命令xehost-is-in-emergency-mode返回结果为true，说明xenserver主机正处于emergency模式，初步判断在关闭集群时，先关闭了共享存储，导致HA出现了问
分类：
其他好文 时间：
2018-09-17 11:35:34
阅读次数：
474
1.搭建环境描述： 操作系统： [root@HA-1 ~]# cat /etc/redhat-release CentOS release 6.7 (Final) 地址规划： 10.0.0.36 10.0.0.151 拓扑结构： 此结构要实现的功能是：通过HAProxy实现三个站点的负载均衡，即当用 ...
分类：
其他好文 时间：
2018-09-14 23:17:06
阅读次数：
222
整理&&总结 迭代器遍历Iterator【List、Set、Map】example 1 package boom.collection; 2 3 import java.util.ArrayList; 4 import java.util.HashMap; 5 import java.util.Ha ...
分类：
其他好文 时间：
2018-09-14 23:15:52
阅读次数：
296
kubernetes现在是火的不得了，部分公司已经使用k8s开始生产了，但是谈到生产环境就不得不谈谈高可用，那么今天咱们就来看看如何利用kubeadm搭建出一个多主的kubernetes集群。
分类：
Web程序 时间：
2018-09-14 11:03:03
阅读次数：
317
