一、安装Nginx:1、解决依赖关系# yum groupinstall
"Development Tools" "Server Platform Deveopment"# yum install openssl-devel
pcre-devel2、安装首先添加用户nginx,实现以之运行nginx...
分类:
其他好文 时间:
2014-05-12 15:26:34
阅读次数:
365
搭建DNS负载均衡环境:1、至少三台的linux虚拟机,一台主的DNS服务器,1台副的(可以N台),1台测试机。负载均衡有很多种,apache那样的是为了缓解人们访问网站时给服务器造成太大的压力,所以就是你访问网站时,服务器你一下,我一下,他一下,大家轮流着干。2、DNS负载均衡原理:几台DNS服务...
分类:
其他好文 时间:
2014-05-12 08:05:23
阅读次数:
206
DNS服务器的更新:一听就知道不止一台的DNS服务器,要是一台也用不着更新对吧?一般都是DNS集群。一台DNS更新了,添加一条数据,下面的都要跟着它变。主DNS服务器的配置首先先配置DNS服务器信息同步,后面再配置更新DNS服务器:1、
前面很简单:安装bind软件包、修改named服务配置文件;V...
分类:
其他好文 时间:
2014-05-12 00:49:26
阅读次数:
278
Hadoop集群(第9期)_MapReduce初级案例1、数据去重
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1
实例描述 对数.....
分类:
其他好文 时间:
2014-05-11 16:02:24
阅读次数:
538
一、分布式文件系统分布式文件系统(Distributed File
System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连,也就是集群文件系统,可以支持大数量的节点以及PB级的数量存储。相对地,在一个分享的磁盘文件系统中,所有节点对数据存储区块都有相同的...
分类:
其他好文 时间:
2014-05-11 15:16:30
阅读次数:
470
Hadoop Streaming 是一个工具, 代替编写Java的实现类,而利用可执行程序来完成map-reduce过程
工作流程 :
InputFile --> mappers --> [Partitioner] --> reducers -->
outputFiles
理解 :
1 输入文件,可以是指定远程文件系统内的文件夹下的 *
2 通过集群自己分解到各个PC...
分类:
编程语言 时间:
2014-05-11 14:46:35
阅读次数:
519
目的
此文档描述了 FairScheduler,
Hadoop 的一个可插入式的调度器,允许 YARN 应用在一个大集群中公平地共享资源。
简介
公平调度是一种分配资源给应用的方法,以致到最后,平均上所有应用获得相等的资源。 Hadoop NextGen 能够调度多种类型的资源。默认的, Fair Scheduler 仅以内存为基础作公平调度决策。可以用Ghodsi 等开发的 ...
分类:
其他好文 时间:
2014-05-11 13:05:57
阅读次数:
393
HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。
HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式.....
分类:
Web程序 时间:
2014-05-11 01:09:20
阅读次数:
677
mysql集群架构方式很多,根据不同的需求做不一样的架构,简单一点的就是mysql的replication,也就是Mysql的复制功能,模式有:master-slaves,master-slaves-slaves,master-master-slaves等可以有多个分层,那么现在我所要说的是mast...
分类:
数据库 时间:
2014-05-10 23:30:36
阅读次数:
553
说道反向代理,可能首先想到的就是nginx。不过在我们的需求中,对于转发过程有更多需求:需要操作session,根据session的取值决定转发行为需要修改Http报文,增加Header或是QueryString第一点决定了我们的实现必定是基于Servlet的。jetty提供的ProxyServle...
分类:
其他好文 时间:
2014-05-10 18:58:46
阅读次数:
1057