Mahout小案例学习，实现k-means算法。环境：OS：Centos 6.5 x64 &
Soft：Hadoop 1.2.1 & Mahout 0.91、下载测试数据[huser@master hadoop]$ wget
http://archive.ics.uci.edu/ml/databas...
分类：
其他好文 时间：
2014-05-04 12:34:58
阅读次数：
340
之前在写MR
job的时候，由于要在云梯，或者一淘的开发集群上运行；所以处理方法是，在本地打成jar包，然后scp到客户端网关机上，然后在提交job运行。这样的问题时，有时候如果遇到一些逻辑上的问题，job跑挂了。必须在本地修改程序，然后重新打包，scp，再运行，这样比较麻烦；询问了一圈，觉得采用M...
分类：
其他好文 时间：
2014-05-04 10:54:29
阅读次数：
427
软件环境： 虚拟机：VMware Workstation 10
操作系统：ubuntu-12.04-desktop-amd64 JAVA版本：jdk-7u55-linux-x64 Hadoop版本：hadoop-1.2.1
Hadoop下载地址：http://mirrors.cnnic.cn/apa...
分类：
其他好文 时间：
2014-05-04 10:43:51
阅读次数：
370
MapReduce
job中,可以使用FileInputFormat和FileOutputFormat来对输入路径和输出路径来进行设置。在输出目录中，框架自己会自动对输出文件进行命名和组织，如:part-(m|r)-00000之类。但有时为了后续流程的方便，我们常需要对输出结果进行一定的分类和组织。...
分类：
其他好文 时间：
2014-05-04 10:22:15
阅读次数：
341
异常（Exception）是程序在执行过程中所产生的问题。导致异常的原因有很多，例如：用户输入无效的数据、找不到一个需要打开的文件、在通讯过程中网络中断、JVM内部内存溢出等等。
有些异常是由用户操作所导致的、有些是程序员的错误导致的，有些则是硬件的故障导致的。所以异常分为错误（error）、...
分类：
编程语言 时间：
2014-05-04 10:17:24
阅读次数：
312
利用JavaAPI访问HDFS的文件
1、重读配置文件core-site.xml要利用Java客户端来存取HDFS上的文件，不得不说的是配置文件hadoop-0.20.2/conf/core-site.xml了，最初我就是在这里吃了大亏，所以我死活连不上HDFS，文件无法创建、读取。hadoop.t...
分类：
编程语言 时间：
2014-05-03 22:10:40
阅读次数：
300
前两天将Hadoop2的完全分布式搭建文档整理发布于网上（http://blog.csdn.net/aaronhadoop/article/details/24859369），朋友相邀，就再将Hadoop2的伪分布式文档整理一下，搭建过Hadoop2完全分布式后，就笑对“伪分布式”说声
呵呵吧。
前期的jdk环境、SSH免密钥登录配置在此就不再赘述了，直接进入hadoop2的配...
分类：
其他好文 时间：
2014-05-03 21:51:45
阅读次数：
344
dataNode 无法启动是配置过程中最常见的问题，主要原因是多次format namenode 造成namenode 和datanode的clusterID不一致。建议查看datanode上面的log信息。解决办法:修改每一个datanode上面的CID(位于dfs/data/current/VERSION文件夹中)使两者一致。...
分类：
其他好文 时间：
2014-05-03 21:37:44
阅读次数：
308
大纲：一、什么是Keepalived？二、VRRP协议简介.三、Keepalived原理.四、Keepalived配置文件详解.五、Keepalived配置示例.一、什么是Keepalived？什么是Keepalived呢，keepalived观其名可知，保持存活，在网络里面就是保持在线了，也就是所谓的高可用或热备，用来防止单点故障(..
分类：
其他好文 时间：
2014-05-03 20:48:19
阅读次数：
528
一、忘记root密码进入单用户模式清除root密码，重新设置密码二、MBR错误先制造错误输入ddif=/dev/zeroof=/fev/sdads=446count=1清除MBR，输入init6重启这时你会发现已经进不去系统了进入救援模式（必须拥有系统光盘）或者进入boot输入linuxrescue进入救援模式三、stage2失效插..
分类：
其他好文 时间：
2014-05-03 20:46:53
阅读次数：
305
