# class Htext(object): # def __init__(self,slash,time=None): # self.time=time # self.ha="ha" # self.slash=slash # def __setattr__(self, key, value): #... ...
分类：
其他好文 时间：
2019-01-10 15:33:29
阅读次数：
97
一、YARN 简介 YARN(Yet Another Resource Negotiator,资源协调者) 是一种新的Hadoop 资源管理器，是一个通用的资源管理系统，可以为上层应用提供统一的资源管理和调度。它的引入为集群在利用率，资源统一管理和数据共享方面带来了很大的好处。 YARN 是随着Ha ...
分类：
其他好文 时间：
2019-01-09 23:35:36
阅读次数：
350
（1）部署部署方式：sparkstandalone集群、yarn集群、meoss集群...driver的HA：如果希望driver程序在失败之后自动重启，那么需要在程序中使用getOrcreate方法重构streamingContext对象，以及在spark-submit中添加参数。Checkpoint目录的设置：如果程序使用到checkpoint目录，就必须配置一个hdfs兼容的文件系统作为ch
分类：
其他好文 时间：
2019-01-08 10:52:20
阅读次数：
177
正规阵定义：方阵A有$A^HA=AA^H=I$，$A \in C^{n \times n}$ 常见正规阵： (1)Hermite阵都是正规阵 (2)斜Hermite阵都是正规阵 (3)酉阵都是正规阵 (4)对角阵都是正规阵 正规阵的性质： (1)若$A = \left[ {\begin{array} ...
分类：
其他好文 时间：
2019-01-07 10:31:14
阅读次数：
169
管理控制器：1、控制器默认开启的是SSH （CLI），Secure Web/https （GUI)2、登录控制器的管理地址为Active设备所控制（主备的配置同步，所以管理地址一致）3、WLC HA状态下，不能console到standby WLC4、可以尝试使用Standby WLC的RMI接口登 ...
分类：
其他好文 时间：
2019-01-07 01:27:22
阅读次数：
356
1:HA集群架构与VIIP工作原理：Linux高可用集群：pacemaker、keepalivedkeepalived理论工作原理：keepalived是以VRRP协议为实现基础的，VRRP全称VirtualRouterRedundancyProtocol,即虚拟路由冗余协议。虚拟路由冗余协议是实现路由器高可用的协议，即将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和多个
分类：
其他好文 时间：
2019-01-05 15:47:21
阅读次数：
264
在生产环境中使用Hive，强烈建议使用HiveServer2来提供服务，好处有: 在应用端不用部署Hadoop和Hive客户端； 相比hive-cli方式，HiveServer2不用直接将HDFS和Metastore暴漏给用户； 有安全认证机制，并且支持自定义权限校验； 有HA机制，解决应用端的并发 ...
分类：
其他好文 时间：
2019-01-05 13:34:41
阅读次数：
204
如题出现Namenode经常挂掉 IPC's epoch 9 is less than the last promised epoch 10， 解决方案 可以在core-site.xml文件中修改ha.health-monitor.rpc-timeout.ms参数值，来扩大zkfc监控检查超时时间。 ...
分类：
其他好文 时间：
2019-01-02 23:18:29
阅读次数：
869
公司要将监控数据存入opentsdb，而opentsdb使用了hbase作为存储。所以想搭建一套高可用的分布式存储来供opentsdb使用。 因为机器有限，所以测试过程中将三台集群的环境安装在docker上。 一：宿主机版本和docker版本 宿主机：Centos7.2 3.10.0-862.14. ...
分类：
其他好文 时间：
2019-01-02 19:27:50
阅读次数：
225
分布式集群搭建：http://blog.51cto.com/14048416/2327802?上面试spark普通的分布式集群搭建，存在master节点的单点故障问题。Hadoop2.x开始，已经使用zookeeper解决了单点故障。同样的策略，spark也利用了zookeeper解决了spark集群的单点故障问题。1.集群的规划（这里使用3台机器测试）2.具体搭建步骤：①如果已经使用，
分类：
其他好文 时间：
2019-01-02 12:28:31
阅读次数：
232
