尝试着论证下使用阻塞日志场景下,成员变更的正确性(支持变更少数派个成员,不能同时进行上线和下线两个操作):1)备机slave收到[Cold,Cnew]的确认条件是要求之前的日志都已经收到,这样保证如果[Cold, Cnew]日志得到Cold, Cnew两个集群的多数派应答,那么[Cold, Cnew...
分类:
其他好文 时间:
2014-08-25 18:28:04
阅读次数:
185
前言 ZooKeeper是Hadoop家族的一款高性能的分布式协作的产品。在单机中,系统协作大都是进程级的操作。分布式系统中,服务协作都是跨服务器才能完成的。在ZooKeeper之前,我们对于协作服务大都使用消息中间件,随...
分类:
其他好文 时间:
2014-08-25 17:23:04
阅读次数:
297
第四步:配置Hadoop伪分布模式并运行Wordcount示例伪分布模式主要涉及一下的配置信息:修改Hadoop的核心配置文件core-site.xml,主要是配置HDFS的地址和端口号;修改Hadoop中HDFS的配置文件hdfs-site.xml,主要是配置replication;修改Hadoo...
分类:
其他好文 时间:
2014-08-25 16:51:54
阅读次数:
267
本文讲述MySQL的Master/Slave集群安装和配置,安装的版本是最新的稳定版本GA 5.6.19。
为了支持有限的HA,我们使用Master/Slave简单的读写分离集群。有限的HA是指当Master不可用时,数据不会丢失,但在Master宕机的情况下是不可写的,必须手工处理故障。如果要支持更高的可用性,可以使用两台Master来做热切换。
Master和Slave的MySQL安装是相...
分类:
数据库 时间:
2014-08-25 15:04:14
阅读次数:
259
1、首先数据库的编码设置为UTF-82、项目的编码也要设置为UTF-8假设数据保存到数据库的时候还有乱码 就要改动openfire配置文件在openfire主文件夹\conf\openfire.xml 改动相关配置把 jdbc:mysql://localhost:3306/openfire改成 .....
分类:
数据库 时间:
2014-08-24 14:08:22
阅读次数:
240
今天碰到的一个 spark问题,困扰好久才解决首先我的spark集群部署使用的部署包是官方提供的spark-1.0.2-bin-hadoop2.tgz部署在hadoop集群上。在运行java jar包的时候使用命令java -jar chinahadoop-1.0-SNAPSHOT.jar chin...
分类:
编程语言 时间:
2014-08-24 08:04:42
阅读次数:
321
部署spark集群使用spark包spark-1.0.2-bin-hadoop2.tgz在spark-shell和java -jar访问hadoop hdfs上的文件写法是有区别的在spark-shell直接使用/user/ning/1.txt 之类的路径,不用加hdfs://host:port 的...
分类:
编程语言 时间:
2014-08-24 08:04:12
阅读次数:
261
1:高可用性集群 强调的是高可用性。2:负载均衡集群 不强调高可用性,强调负载的均衡3:高吞吐集群 注重吞吐量,又叫做SIMD(single instruction multiple data),每个worker的功能相同,数据不同。4:分布式计算 又叫做MIMD(multiple inst...
分类:
其他好文 时间:
2014-08-23 19:02:41
阅读次数:
251
Singleton模式可以是很简单的,它的全部只需要一个类就可以完成(看看这章可怜的UML图)。但是如果在“对象创建的次数以及何时被创建”这两点上较真起来,Singleton模式可以相当的复杂,比头五种模式加起来还复杂,譬如涉及到DCL双锁检测(double checked locking)的讨论、涉及到多个类加载器(ClassLoader)协同时、涉及到跨JVM(集群、远程EJB等)时、涉及到单例对象被销毁后重建等。对于复杂的情况,本章中会涉及到其中一些[1]...
分类:
其他好文 时间:
2014-08-23 17:47:51
阅读次数:
327