一．体系架构在Keepalived+Nginx高可用负载均衡架构中，keepalived负责实现High-availability(HA)功能控制前端机VIP（虚拟网络地址），当有设备发生故障时，热备服务器可以瞬间将VIP自动切换过来，实际运行中体验只有2秒钟切换时间，DNS服务可以负责前端VIP的负载均衡。nginx负责控制后端web服务器的负载均衡，将客户端的请求按照一定的算法转发给后端Rea
分类：
Web程序 时间：
2018-09-27 00:02:02
阅读次数：
261
0. 什么是高可用 高可用HA（High Availability）是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。 假设系统一直能够提供服务，我们说系统的可用性是100%；如果系统每运行100个时间单位，会有1个时间单位无法提供服务，我们说系统的可用性是9 ...
分类：
其他好文 时间：
2018-09-26 01:19:59
阅读次数：
199
主要步骤跟Hadoop1.0( "1.0安装地址" )一致，主要在配置这块有更改 安装 下载地址：http://archive.apache.org/dist/hadoop/core/hadoop 2.6.5/ hadoop安装目录创建./tmp目录，./dfs/name，./dfs/data 修改 ...
分类：
其他好文 时间：
2018-09-24 18:28:49
阅读次数：
170
#!/usr/bin/env python# -*- coding:utf-8 -*-# 一、打开文件# 二、操作文件# 三、关闭文件# open(文件名，打开模式，编码)'''f = open('ha.log','r')data = f.read()f.close()print(data)#只读f ...
分类：
其他好文 时间：
2018-09-24 00:28:41
阅读次数：
160
equals 与 hashCode 这两个方法都在 Object 类中定义，根据方法注释可知： 1. equal 的两个对象必须具有相同的 hashcode 1. 但却没有要求 not equal 的两个对象的 hashcode 必须不同 1. 然而，程序员应该知道，对于不相等的对象产生不同的 ha ...
分类：
其他好文 时间：
2018-09-23 18:05:53
阅读次数：
160
前阵子搭建Hadoop时，配置了本机（localhost）的ssh的公钥到authorized_keys文件中，但是在ssh连接localhost时仍然提示需要输入密码，后来发现是$HOME/.ssh/authorized_keys这个文件的权限问题引起的。其原因是，不能让所有者之外的用户对auth ...
分类：
其他好文 时间：
2018-09-21 10:54:25
阅读次数：
202
1、UpdateStateByKey、windows等有状态的操作时，自动进行checkpoint,必须设置checkpoint目录，数据保留一份在容错的文件系统中，一旦内存中的数据丢失，可以从文件系统中读取数据，不需要重新计算。 SparkStreaming.checkpoint("hdfs:// ...
分类：
其他好文 时间：
2018-09-20 23:53:12
阅读次数：
424
配置HDFS联盟，多个NameNode节点同时存活，根据代理配置的路由规则处理客户端不同的请求，实现负载均衡，同时也可以缓存更多的元信息，它与HA的区别在于，联盟是多个NameNode都是active，可以存储更多的元信息。
分类：
其他好文 时间：
2018-09-20 18:02:22
阅读次数：
163
Namenode 开启HA之后,由于zookeeper异常，出现脑裂现象 执行 standby standby 两个互为HA的namenode节点均处于standby 状态，随后执行 强行手工将namenode1状态转换为active PS： serverID即namenodeID，可以访问http ...
分类：
数据库 时间：
2018-09-19 22:02:14
阅读次数：
747
1、Hadoop生态概况 Hadoop是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点。大数据学习资料分享群119599574 Hadoop的核心是YARN,HDFS,Ma ...
分类：
其他好文 时间：
2018-09-19 12:50:26
阅读次数：
125
