1、在一台机器装安装3个zk server,构建伪集群模式安装步骤如下:1、下载zookeeper,下载地址:http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/2、解压到三个目录下,如 /data/zookeeper/zServer1 ...
分类:
系统相关 时间:
2016-09-27 15:15:05
阅读次数:
208
Mapreduce程序可在多种模式下运行: 1) 本地文件,本地处理:将MR的输入输出路径设置为本地路径; 2) 集群文件,本地处理:将MR的输入输出设置为HDFS的路径,job在本地进行处理; 2.集群模式:集群文件,集群处理:将MR的输入输出设置为HDFS的路径,并将Job提交到集群里面(Yar ...
分类:
其他好文 时间:
2016-09-24 23:15:23
阅读次数:
221
集群模式安装 一、伪集群部署将D:\Program Files (x86)\zookeeper-3.4.8\conf\下的zoo.cfg 改成zoo1.cfg,内容改为: 一、伪集群部署 将D:\Program Files (x86)\zookeeper-3.4.8\conf\下的zoo.cfg 改 ...
分类:
其他好文 时间:
2016-09-23 16:36:14
阅读次数:
101
我们知道,对于开发而言,IDE是有很多个选择的版本。如我们大部分人经常用的是如下。 Eclipse *版本 Eclipse *下载 而我们知道,对于spark的scala开发啊,有为其专门设计的eclipse,Scala IDE for Eclipse Scala IDE for Eclipse的下 ...
分类:
其他好文 时间:
2016-09-18 12:00:54
阅读次数:
674
zk 为了实现Paxos算法的快速收敛,添加Leader选举算法,只有Leader角色才可以发起提案。为了熟悉并使用zk,近来也具体看了zk(3.4.8)部分代码,主要逻辑(集群模式)分析如下: 1. zk启动,zk启动脚本是zkServer.sh 调用 (org.apache.zookeeper. ...
分类:
其他好文 时间:
2016-09-04 14:31:28
阅读次数:
153
一、Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境;■ 伪集群模式:就是在一台物理机上运行多个Zookeeper 实例;■ 集群模式:Zookeeper运行于一个集群上,适合生产环 ...
分类:
其他好文 时间:
2016-08-29 12:39:25
阅读次数:
174
最开始的DataOntap借鉴了最早的开源UNIX之一的BSDNet/2许多代码,包括TCP/IP堆栈、启动代码、设备驱动等,后来的DataOntap也从其他的开源UNIX借鉴了大量的代码。至于命令行接口是NetApp仿Unix独立开发的,另外WAFL文件系统与RAID代码及磁盘子系统为NetApp自己开发的所以与UNIX..
分类:
移动开发 时间:
2016-08-05 01:14:33
阅读次数:
1095
Cisco UCS 刀片服务器与NETAPP存储 1、异常问题描述: 2、可能原因:存储链路异常 比如断电恢复、光纤线本身的问题、模块的问题、环境温度的问题、bug之类的都有可能 3、处理: 如果使用上没有问题,基本上迁移虚拟机到其他物理机上,然后将其进入维护模式,重新开机引导,即可恢复 ...
分类:
其他好文 时间:
2016-08-01 12:32:07
阅读次数:
2044
存储:netapp2050控制器1:fas2050a控制器2:fas2050b问题:2012-1-17netapp硬盘告警红灯,进入web管理界面发现fs2050b已无spare盘。解决方法:1)、查询fas2050b上disk是否有故障盘:fas2050b*>diskshow-vDISKOWNERPOOLSERIALNUMBER--------------------------------------..
分类:
移动开发 时间:
2016-07-05 19:07:18
阅读次数:
575
RAID0:条带化RAID1:镜像RAID5:条带化,容量是N-1块盘RAID4:条带化,一个固定盘做校验,性能瓶颈在检验盘,校验盘被频繁读写,成为热点盘。扩容时,比较容易。RAID-DP:doubleparity两块校验盘。采用两种不同的校验方式来做奇偶校验,RAID-DP的性能优于RAID5RAIDGROUPSizeNET..
分类:
移动开发 时间:
2016-07-05 19:06:25
阅读次数:
475