secondarynamenode异常2014-08-26 22:06:12,793 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpointjava.io.IOExceptio...
分类：
其他好文 时间：
2014-08-26 22:53:46
阅读次数：
378
Hadoop Datanode节点无法启动（All directories in dfs.data.dir are invalid）java.io.IOException: All directories in dfs.datanode.data.dir are invalid: "/usr/loc...
分类：
其他好文 时间：
2014-08-26 21:23:27
阅读次数：
265
2014-08-26 20:27:22,712 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimagejava.io.IOException: NameNode i...
分类：
其他好文 时间：
2014-08-26 21:20:47
阅读次数：
877
Mahout 是 Apache Software Foundation（ASF） 旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Apache Mahout项目已经发展到了它的第三个年头，目前已经有了三个公共发行版本。Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘。此外，通过使用 Apache Hadoop 库，Mahout 可以有效地扩展到云中。
Mahout 的创始人 Grant Ingersoll 介绍了机器学习的基本概...
分类：
其他好文 时间：
2014-08-26 19:44:17
阅读次数：
357
oozie是hadoop的工作流Scheduler，最新的版本到4.0.1了。试用了下，小坑还蛮多的。
1. 编译
我的主机上跑的是Hadoop 1.1.2，选的是oozie 3.3.0版本，下载源码，解压缩。
首先，要把源码里的javaversion从1.6改成1.7，主机是用jdk1.7。
编译oozie，命令是'./bin/mkdistro.sh -DskipTests -Dha...
分类：
其他好文 时间：
2014-08-26 17:28:46
阅读次数：
321
本机环境:
ubuntu 12.04 32位
jdk 1.7
（1）maven-3.2.2的安装
首先到maven官网下载，http://maven.apache.org/，这里我下载了最新版本，maven-3.2.2
解压到/usr/local/目录下： tar -zxvf apache-maven-3.2.2-bin.tar.gz，并重命名为maven
修改 /etc/...
分类：
其他好文 时间：
2014-08-26 17:25:46
阅读次数：
305
遇到的问题描述：在hadoop上面执行程序，程序运行之后能够正常执行。一切似乎都是正常的，然而过了一段时间之后程序便开始阻塞直到程序超时退出（如下）。14/08/19 21:17:51 INFO mapred.JobClient: map 99% reduce 71%14/08/19 21:17:5...
分类：
其他好文 时间：
2014-08-26 15:02:56
阅读次数：
357
在运行hadoop程序时经常遇到异常java.io.IOException: Task process exit with nonzero status of 1。网上很多博文都说是磁盘不够的问题。 其实我很多时候遇到这个问题是因为程序抛出org.apache.hadoop.mapred.Ch...
分类：
其他好文 时间：
2014-08-26 13:20:56
阅读次数：
191
前言： Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，...
分类：
其他好文 时间：
2014-08-26 09:51:26
阅读次数：
502
Hadoop服务库与事件库的使用及其工作流程 Hadoop服务库:
YARN采用了基于服务的对象管理模型,主要特点有:
被服务化的对象分4个状态:NOTINITED,INITED,STARTED,STOPED
任何服务状态变化都可以触发另外一些动作
可通过组合方式对任意服务进行组合,统一管理
具体类...
分类：
其他好文 时间：
2014-08-25 18:46:54
阅读次数：
231
