vsphere高级功能需要vcenter server和共享存储的支持...
分类:
其他好文 时间:
2014-08-04 11:12:27
阅读次数:
239
格式化namenode后,通过jps可发现datanode没有启动成功,查看datanode上的日志/home/wukong/usr/hadoop-1.2.1/logs/hadoop-wukong-datanode-bd12.log,可以发现是namespaceid不对。 解决办法: 1、查看namenode上...
分类:
其他好文 时间:
2014-08-03 23:37:06
阅读次数:
661
最近我在做流式实时分布式计算系统的架构设计,而正好又要参见CSDN博文大赛的决赛。本来想就写Spark源码分析的文章吧。但是又想毕竟是决赛,要拿出一些自己的干货出来,仅仅是源码分析貌似分量不够。因此,我将最近一直在做的系统架构的思路整理出来,形成此文。为什么要参考Storm和Spark,因为没有参照效果可能不会太好,尤其是对于Storm和Spark由了解的同学来说,可能通过对比,更能体会到每个具体实现背后的意义。
本文对流式系统出现的背景,特点,数据HA,服务HA,节点间和计算逻辑间的消息传递,存储模型,...
分类:
其他好文 时间:
2014-08-02 18:25:23
阅读次数:
489
HDFS2.0之HA主备NameNode: 1、主NameNode对外提供服务,备NameNode同步主NameNode元数据,以待切换; 2、主NameNode的信息发生变化后,会将信息写到共享数据存储系统中让备NameNode合并到自己的内存中; 3、所有DataNode同时向两个Name...
分类:
其他好文 时间:
2014-08-02 17:53:53
阅读次数:
383
作为个人学习笔记分享,有任何问题欢迎交流!
Fuel HA组成
OpenStack生产环境推荐使用HA,以避免单点故障,下图为Fuel HA设计图,HA要求有3个控制节点。
1)Pacemaker Cluster :Pacemaker Cluster 由Pacemaker和Corosync组成,Pacemaker是一个集群资源管理器。它利用你喜欢的集群基础构件(O...
分类:
其他好文 时间:
2014-08-02 12:49:53
阅读次数:
373
Web Maximize Compression with Zopfli Browser Detection with JavaScript Simple MySQL Master HA with mysqlnd_ms 8 ways to improve ASP.NET Web API perfor...
分类:
其他好文 时间:
2014-08-01 22:31:12
阅读次数:
291
在文章《Ubuntu和CentOS中分布式配置Hadoop-2.2.0》介绍了hadoop 2.2.0最基本的配置。hadoop 2.2.0中提供了HA的功能,本文在前文的基础上介绍hadoop 2.2.0HA的配置。
说明:
下文中的两台namenode机器名分别是namenode1和namenode2.其中namenode1为active node,namenode2为standby na...
分类:
其他好文 时间:
2014-08-01 19:48:22
阅读次数:
243
HadoopHA的实现方式上图大致架构包括:1、利用共享存储来在两个NN间同步edits信息。以前的HDFS是sharenothingbutNN,现在NN又sharestorage,这样其实是转移了单点故障的位置,但中高端的存储设备内部都有各种RAID以及冗余硬件包括电源以及网卡等,比服务器的可靠性还是略有提高..
分类:
其他好文 时间:
2014-07-31 21:09:38
阅读次数:
394
One Person Game
Time Limit: 1 Second Memory Limit: 32768 KB Special Judge
There is a very simple and interesting one-person game. You have 3 dice, namely Die1, Die2 and Die3. Die1 ha...
分类:
其他好文 时间:
2014-07-31 20:51:57
阅读次数:
311
jpshadoop namenode -formatdfs directory : /home/hadoop/dfs --data --current/VERSION#Wed Jul 30 20:41:03 CST 2014storageID=DS-ab96ad90-7352-4cd5-a0de.....
分类:
其他好文 时间:
2014-07-30 23:16:25
阅读次数:
228