Mahout小案例学习,实现k-means算法。环境:OS:Centos 6.5 x64 &
Soft:Hadoop 1.2.1 & Mahout 0.91、下载测试数据[huser@master hadoop]$ wget
http://archive.ics.uci.edu/ml/databas...
分类:
其他好文 时间:
2014-05-04 12:34:58
阅读次数:
340
安装配置环境: os:centos
5.4 mysql:5.5.37 虚拟server1:mysql_master(192.168.40.241) 虚拟server2:mysql_slave(192.168.40.242)安装Mysql:
可参考解压后的INSTALL-BINARY,如下: shel...
分类:
数据库 时间:
2014-05-04 12:34:32
阅读次数:
516
之前在写MR
job的时候,由于要在云梯,或者一淘的开发集群上运行;所以处理方法是,在本地打成jar包,然后scp到客户端网关机上,然后在提交job运行。这样的问题时,有时候如果遇到一些逻辑上的问题,job跑挂了。必须在本地修改程序,然后重新打包,scp,再运行,这样比较麻烦;询问了一圈,觉得采用M...
分类:
其他好文 时间:
2014-05-04 10:54:29
阅读次数:
427
就自己使用过了几个linux版本来发表下自己的看法
在公司不上直接上网的情况下
市面上很多的linux发行版本就不能用了
要在能提供完整镜像iso的版本中进行选择
一般就只能选择 fedora centos debian
fedora centos 要使用iso镜像当软件源要更改yum配置
debian 的话安装就默认是iso文件当镜像
同时debian 有3个iso文件下载,第一个...
分类:
系统相关 时间:
2014-05-04 08:48:18
阅读次数:
465
前两天将Hadoop2的完全分布式搭建文档整理发布于网上(http://blog.csdn.net/aaronhadoop/article/details/24859369),朋友相邀,就再将Hadoop2的伪分布式文档整理一下,搭建过Hadoop2完全分布式后,就笑对“伪分布式”说声
呵呵吧。
前期的jdk环境、SSH免密钥登录配置在此就不再赘述了,直接进入hadoop2的配...
分类:
其他好文 时间:
2014-05-03 21:51:45
阅读次数:
344
CentOS6和RHEL6系统的YUM中包含了MySQL安装包,版本是MySQL5。rpm软件包的名称是mysql-server。
使用以下命令可以安装MySQL数据库:
yum install -y mysql-server
安装完成后我们可以通过以下命令启动MySQL服务:
service mysqld start
第一次启动MySQL服务后,...
分类:
数据库 时间:
2014-05-03 21:14:54
阅读次数:
462
一、概述:
Yarn调度器有许多实现,如Fifo, Capacity和Fair schedulers等。与其同时,正在进行一些优化措施来提高调度器在不同负载和工作场景下的性能。每个调度器都有自己的特性,调度决策受许多因素影响,如公平行、计算能力保证和资源的可靠性等。在部署一个调度算法到生产集群之前,评估一个调度算法是非常重要的,不幸的是,评估一个调度算法是不那么容易的,评估一个真正的集群是非常耗...
分类:
其他好文 时间:
2014-05-03 21:00:00
阅读次数:
443
一、忘记root密码进入单用户模式清除root密码,重新设置密码二、MBR错误先制造错误输入ddif=/dev/zeroof=/fev/sdads=446count=1清除MBR,输入init6重启这时你会发现已经进不去系统了进入救援模式(必须拥有系统光盘)或者进入boot输入linuxrescue进入救援模式三、stage2失效插..
分类:
其他好文 时间:
2014-05-03 20:46:53
阅读次数:
305
在配置集群时,每个节点上有很多相同的配置,如启动服务相同、安装程序、提供相同的配置文件,甚至定制相同的任务计划来定期执行某些操作等。如果你管理的只是三两个节点配置起来还是相当简单的,但是有三五十台,甚至上百台你还要自已一个一个手动来配置,那就太痛苦了。因些..
分类:
其他好文 时间:
2014-05-03 20:42:02
阅读次数:
572
服务器IP:192.168.1.101系统CentOS6.4以下所有的操作都是在服务器端;客户端是在VMware上操作的,网络要选择NAT模式。1.需要在服务器端安装的软件:dhcptftp-serverxinetdsyslinuxnfs-utils安装:yumdhcp*tftp*syslinux*nfs-utils2.安装完后修改配置文件:vim/etc/dhcp/dhcpd.c..
分类:
其他好文 时间:
2014-05-03 20:35:43
阅读次数:
376