欢迎转载,转载请注明出处,徽沪一郎。概要Hadoop2中的Yarn是一个分布式计算资源的管理平台,由于其有极好的模型抽象,非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理,集群中计算资源的管理与分配。Yarn为应用程序开发提供了比较好的实现标准,Spark支持Yarn部...
分类:
其他好文 时间:
2014-07-07 14:18:32
阅读次数:
297
这里不考虑分布式或者多台负载均衡的情况只考虑单台机器,多台服务器可以使用分布式锁。出于线程安全的原因,很多种场景大家可能看代码中看到lock的出现,尤其是在资金类的处理环节。 理论常识不多说,回到业务场景,举个例子我们的需求一般就是在某个订单进入某个安全优先级比较高的流程时要针对这笔订单做到线...
分类:
Web程序 时间:
2014-07-01 22:06:15
阅读次数:
310
一,配置一个filter表放火墙(1)查看本机关于IPTABLES的设置情况[root@tp ~]# iptables -L -nChain INPUT (policy ACCEPT)target prot opt source destinationChain FORWARD (policy AC...
分类:
其他好文 时间:
2014-07-01 12:53:14
阅读次数:
593
为了构建基于Yarn体系的Spark集群,先要安装Hadoop集群,为了以后查阅方便记录了我本次安装的具体步骤。...
分类:
其他好文 时间:
2014-07-01 08:17:24
阅读次数:
576
NoSQL数据库的分布式模型单一服务器在一个服务器完全能够胜任工作时就没必要考虑分布式,这样部署简单,维护也方便很多;分片特点数据的各个部分存放在集群的不同服务器中; 比如按字母来划分:以a-g开头的键值都存放到第一台服务器上,以h-n开头的存放到第二台...需要考虑的问题如何存放数据,让用户基本上...
分类:
数据库 时间:
2014-06-30 23:15:40
阅读次数:
327
在CentOS下安装Ngix服务及集群PHP、Tomcat
资源下载地址:http://download.csdn.net/detail/attagain/7570597
一、 Ngix依赖模块安装
Ngix依赖模块有:pcre、zlib、openssl、md5 /sha1(如果系统中没有安装相应模块,需要按照下列方式安装)
1、 安装pcre模块(8.35)
官方网站:http://w...
分类:
Web程序 时间:
2014-06-30 19:17:07
阅读次数:
294
一. 环境准备
1. 软件下载
a) apache_2.0.55-win32-x86-no_ssl.msi;
b) apache-tomcat-5.5.17.rar
c) mod_jk-apache-2.0.55.so...
分类:
其他好文 时间:
2014-06-30 17:45:46
阅读次数:
374
这是一个先进实用的架构,采用了haproxy、lvs、keeplived进行负载均衡,使用couchbase、squid进行缓存,使用mysql数据库主从方式,使用lucene搜索等技术,提供了HA、HP的服务性能,值得采纳。对用JAVA开发的项目来说,根据“成熟稳定、先进科学、实用可靠“的原则,可以使用这样一种架构,采用多个集群来保证系统的高性能、高可靠性、伸缩性、可维护性和安全的需要,服务器可以线性扩展,使用开源免费软件和廉价服务器,提供极高的性价比。...
分类:
其他好文 时间:
2014-06-29 23:11:10
阅读次数:
729
实验平台:CentOS6.4实现功能:利用corosync+pacemaker+drbd完成lamp平台的高可用,并安装Discuz论坛进行测试实验步骤:1、同步双方hosts文件,加入node6与node7的解析10.32.9.56node610.32.9.57node7实现SSH双机互信node1
ssh-keygen-trsa---生成一对公私钥文件,默认放在/roo..
分类:
其他好文 时间:
2014-06-29 21:40:53
阅读次数:
341
关于网上lvs+keepalived的文章很多,但是多数都是DR模式的方案,对于nat模式的并不多见,因此,在此写一份nat模式的文章,仅供分享也当笔记保存。网络拓扑结构:现在的Linux系统内核都是支持lvs的,所以我们直接可以用yum安装ipvsadmyum源的替换,将系统的yum源替换成163的yum..
分类:
其他好文 时间:
2014-06-29 21:33:36
阅读次数:
700