环境系统:阿里云64位centos 6.3[rao@AY~]$ cat
/etc/issueCentOS release 6.3 (Final)Kernel \r on an \m[rao@AY~]$ uname -aLinux
AY1404062027584053a1Z 2.6.32-358.6....
分类:
其他好文 时间:
2014-05-12 09:27:33
阅读次数:
510
设置/etc/yum.repos.d/CentOS-Debuginfo.repo,修改[debug项下的enabled的值为1];debuginfo-install
glibc libgcc libstdc++;
分类:
数据库 时间:
2014-05-12 02:27:00
阅读次数:
399
DNS服务器的更新:一听就知道不止一台的DNS服务器,要是一台也用不着更新对吧?一般都是DNS集群。一台DNS更新了,添加一条数据,下面的都要跟着它变。主DNS服务器的配置首先先配置DNS服务器信息同步,后面再配置更新DNS服务器:1、
前面很简单:安装bind软件包、修改named服务配置文件;V...
分类:
其他好文 时间:
2014-05-12 00:49:26
阅读次数:
278
ganglia是分布式的监控系统,有两个Daemon,分别是:客户端GangliaMonitoring Daemon (gmond)和服务端GangliaMeta Daemon (gmetad),还有GangliaPHP Web
Frontend(基于web的动态访问方式)组成是一个Linux下图形化监控系统运行性能的软件,界面美观、丰富,功能强大而ganglia又依赖于一个web服务器用来显...
分类:
其他好文 时间:
2014-05-11 20:45:14
阅读次数:
504
Hadoop集群(第9期)_MapReduce初级案例1、数据去重
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1
实例描述 对数.....
分类:
其他好文 时间:
2014-05-11 16:02:24
阅读次数:
538
一、分布式文件系统分布式文件系统(Distributed File
System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连,也就是集群文件系统,可以支持大数量的节点以及PB级的数量存储。相对地,在一个分享的磁盘文件系统中,所有节点对数据存储区块都有相同的...
分类:
其他好文 时间:
2014-05-11 15:16:30
阅读次数:
470
Hadoop Streaming 是一个工具, 代替编写Java的实现类,而利用可执行程序来完成map-reduce过程
工作流程 :
InputFile --> mappers --> [Partitioner] --> reducers -->
outputFiles
理解 :
1 输入文件,可以是指定远程文件系统内的文件夹下的 *
2 通过集群自己分解到各个PC...
分类:
编程语言 时间:
2014-05-11 14:46:35
阅读次数:
519
目的
此文档描述了 FairScheduler,
Hadoop 的一个可插入式的调度器,允许 YARN 应用在一个大集群中公平地共享资源。
简介
公平调度是一种分配资源给应用的方法,以致到最后,平均上所有应用获得相等的资源。 Hadoop NextGen 能够调度多种类型的资源。默认的, Fair Scheduler 仅以内存为基础作公平调度决策。可以用Ghodsi 等开发的 ...
分类:
其他好文 时间:
2014-05-11 13:05:57
阅读次数:
393
零、求人不如求已:
1、 在Linux中,文件,文件夹,驱动,命令,脚本都视为文件,也即一切皆file。
2、记住使用Linux 的关键就是六个字: 命令、选项、参数。
3、学会看帮助,不用求人。
学会看帮助,不用求人。
man touch
touch --help...
分类:
系统相关 时间:
2014-05-11 06:07:02
阅读次数:
567
mysql集群架构方式很多,根据不同的需求做不一样的架构,简单一点的就是mysql的replication,也就是Mysql的复制功能,模式有:master-slaves,master-slaves-slaves,master-master-slaves等可以有多个分层,那么现在我所要说的是mast...
分类:
数据库 时间:
2014-05-10 23:30:36
阅读次数:
553