学习Ruby参考教程:http://www.w3cschool.cc/ruby/ruby-installation-windows.htmlwindowx下的ruby学习一.安装ruby,下载最新window稳定版ruby,这里是1.9.3版本点击next安装直到完成,为了方便,在安装界面下方会有个复选框提示是否需要安装watir,DevKit和环境配置的选项,这..
前记:这些天一直学习hadoop,学习中也遇到了许多的问题,主要是对hadoop的shell脚本和hadoop的源码概念不够清楚,所以我就对hadoop的bin目录下的shell脚本进行了研究,有一些成果想记录下来,也希望大家前来批评指正。分析原因:很多hadoop的初学者对hadoop的脚本不是很清楚,..
分类:
其他好文 时间:
2014-08-27 02:46:48
阅读次数:
306
secondarynamenode异常2014-08-26 22:06:12,793 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpointjava.io.IOExceptio...
分类:
其他好文 时间:
2014-08-26 22:53:46
阅读次数:
378
Hadoop Datanode节点无法启动(All directories in dfs.data.dir are invalid)java.io.IOException: All directories in dfs.datanode.data.dir are invalid: "/usr/loc...
分类:
其他好文 时间:
2014-08-26 21:23:27
阅读次数:
265
2014-08-26 20:27:22,712 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimagejava.io.IOException: NameNode i...
分类:
其他好文 时间:
2014-08-26 21:20:47
阅读次数:
877
论坛 http://www.golangtc.com/ 入门教程: http://tour.golangtc.com/ http://www.golang-book.com/ 开发工具配置 sublime: http://www.cnblogs.com/sevenyuan/archive/2013/03/01/2938351.html LiteIDE: http://...
分类:
编程语言 时间:
2014-08-26 20:00:56
阅读次数:
212
Mahout 是 Apache Software Foundation(ASF) 旗下的一个开源项目,提供一些可扩展的机器学习领域经典算法的实现,旨在帮助开发人员更加方便快捷地创建智能应用程序。Apache Mahout项目已经发展到了它的第三个年头,目前已经有了三个公共发行版本。Mahout包含许多实现,包括聚类、分类、推荐过滤、频繁子项挖掘。此外,通过使用 Apache Hadoop 库,Mahout 可以有效地扩展到云中。
Mahout 的创始人 Grant Ingersoll 介绍了机器学习的基本概...
分类:
其他好文 时间:
2014-08-26 19:44:17
阅读次数:
357
zk不是使用maven管理的。将zk的src下的代码导入eclipse,lib下的jar包导入工程。QuorumPeerMain类的main方法是入口,启动了zk的server,参数是conf文件的路径,例如:org.apache.zookeeper.server.quorum.QuorumPeer...
分类:
其他好文 时间:
2014-08-26 19:21:56
阅读次数:
152
oozie是hadoop的工作流Scheduler,最新的版本到4.0.1了。试用了下,小坑还蛮多的。
1. 编译
我的主机上跑的是Hadoop 1.1.2,选的是oozie 3.3.0版本,下载源码,解压缩。
首先,要把源码里的javaversion从1.6改成1.7,主机是用jdk1.7。
编译oozie,命令是'./bin/mkdistro.sh -DskipTests -Dha...
分类:
其他好文 时间:
2014-08-26 17:28:46
阅读次数:
321
本机环境:
ubuntu 12.04 32位
jdk 1.7
(1)maven-3.2.2的安装
首先到maven官网下载,http://maven.apache.org/,这里我下载了最新版本,maven-3.2.2
解压到/usr/local/目录下: tar -zxvf apache-maven-3.2.2-bin.tar.gz,并重命名为maven
修改 /etc/...
分类:
其他好文 时间:
2014-08-26 17:25:46
阅读次数:
305