任务执行优化1. 推测式执行： 如果jobtracker 发现有拖后的任务，会再启动一个相同的备份任务，然后哪个先执行完就会去kill掉另一个，因此会在监控页面上经常能看到正常执行完的作业会有被kill掉的任务。2.推测式执行缺省打开，但如果是代码问题，并不能解决问题，而且会使集群更慢，通过在ma....
分类：
其他好文 时间：
2014-09-10 23:39:31
阅读次数：
317
负载均衡是一种技术架构方法，它并不是具体指哪一种技术，也正是因为这样，负载均衡被运用在了很多的领域
严格来说，负载平衡(Load balancing)是一种计算机网络技术，用来在多个计算机(计算机集群)、网络连接、CPU、磁盘驱动器或其他资源中分配负载，以达到最佳化资源使用、最大化吞吐率、最小...
分类：
其他好文 时间：
2014-09-10 22:17:52
阅读次数：
412
一：试验目的利用heartbeat心跳机制haresource实现高可用（HA）mysql数据库的搭建。二：试验拓扑图三：安装前的环境准备规划IP为192.168.1.14为node1;IP为192.168.1.2为node21）修改各主机名称修改node1主机名称
vim/etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node1#修改..
分类：
数据库 时间：
2014-09-10 19:38:31
阅读次数：
424
MapReduce工作原理图文详解1.Map-Reduce 工作机制剖析图:1.首先,第一步,我们先编写好我们的map-reduce程序,然后在一个client 节点里面进行提交.(一般来说可以在Hadoop集群里里面的任意一个节点进行,只要该节点装了Hadoop并且连入了Hadoop集群)2.jo...
分类：
其他好文 时间：
2014-09-10 19:28:40
阅读次数：
426
案例目标：实现办公内网机器访问个人实验平台资源
案例配置：WAS集群虚拟机两台（WIN2008 64bit操作系统，搭建的WAS集群）
共享的两台虚拟机如下：...
分类：
其他好文 时间：
2014-09-10 15:55:40
阅读次数：
279
在大数据的时代，传统的关系型数据库要能更高的服务必须要解决高并发读写、海量数据高效存储、高可扩展性和高可用性这些难题。不过就是因为这些问题Nosql诞生了。NOSQL有这些优势：大数据量，可以通过廉价服务器存储大量的数据，轻松摆脱传统mysql单表存储量级限制。高扩展性，Nosql去掉了关系数据库的...
分类：
数据库 时间：
2014-09-10 15:37:20
阅读次数：
464
业务背景：
web中经常有业务需要定时执行，但是在集群环境中，如果多个服务器中的定时任务同时开启的话会导致数据库挂掉，
实际应该中只有一个定时任务访问数据库。
怎么解决这一问题呢：
1、多服务器集群时，目录挂载。只有一台服务器存放定时任务，挂载时排除定时任务的配置文件，只让一台服务器开启定时任务。
2、单独部署一台服务器，用来跑定时任务
3、使用linux脚本，访问集群服务器页面或ac...
分类：
系统相关 时间：
2014-09-10 12:33:20
阅读次数：
232
启动并查看集群的状况 第一步：启动Hadoop集群，这个在第二讲中讲解的非常细致，在此不再赘述： 启动之后在Master这台机器上使用jps命令，可以看到如下进程信息： 在Slave1 和Slave2上使用jps会看到如下进程信息：...
分类：
其他好文 时间：
2014-09-10 11:00:41
阅读次数：
345
启动并查看集群的状况
第一步：启动Hadoop集群，这个在第二讲中讲解的非常细致，在此不再赘述：
启动之后在Master这台机器上使用jps命令，可以看到如下进程信息：
在Slave1 和Slave2上使用jps会看到如下进程信息：
第二步：启动Spark集群
在Hadoop集群成功启动的基础上，启动Spark集群需要使用Spark的sbin...
分类：
其他好文 时间：
2014-09-10 10:55:20
阅读次数：
225
节点间的时间同步对于Oracle来说是非常重要的，在11g版本之前往往通过搭建NTP服务器完成时间同步。在Oracle11g中新增加了一个CTSS（ClusterTimeSynchronizationServices，集群时间同步服务）服务，用来完成集群节点间时间同步。在安装GridInfrastructure过程中，如果没有发现节..
分类：
数据库 时间：
2014-09-10 02:55:00
阅读次数：
238
