这个实验我选择了简单的做法，并没有用到kerkeros。本人会努力，尽快学会用到kerkeros给hadoop增加安全机制，使我的小象不再“裸奔”。首先是打开hdfs-site.xml，然后加入如下属性。最后设置登录用户名。就是在设置hadoop.http.authentication.signat...
分类：
Web程序 时间：
2015-02-07 00:29:18
阅读次数：
256
1、安装环境是vmware workstation10.0模拟出三个虚拟节点，每一个节点安装Ubuntu12.04 LTS操作系统，主机名分别是hadoop1、hadoop2以及hadoop3.同时在每一个节点安装好java。安装方法同之前介绍的伪分布式安装方法一样。2、接着是对三个节点的hosts...
分类：
其他好文 时间：
2015-02-04 23:22:19
阅读次数：
277
实现真正的分布式的hadoop，并不是伪分布式的。一、系统与配置共准备2台机器搭建Hadoop集群。基于Ubuntu14.04，jdk1.6.0_45，Hadoop1.0.3版本，虚拟机使用VMware10.0192.168.1.10 NameNode master （master）192.168....
分类：
系统相关 时间：
2015-02-04 16:29:23
阅读次数：
208
1. Hadoop 支持lzo压缩依赖： lzo：Unix/linux系统默认没有lzo的 库，因此需要安装，sudoyum install lzo-devel.x86_64 sudo yum install lzo.x86_64 sudo yum install lzop.x86_64...
分类：
Web程序 时间：
2015-02-02 19:47:04
阅读次数：
416
环境：CentOS6.6? Hadoop1.2.1 样例数据： [grid@hadoop1 ~]$ hadoop fs -cat ./in/7/dept.txt
10 ACCOUNTING NEW YORK
20 RESEARCH DALLAS
30 SALES CHICAGO
...
分类：
其他好文 时间：
2015-02-02 00:51:48
阅读次数：
215
环境：CentOS6.6? Hadoop1.2.1 样例数据：第一列是 child ，第二列是 parent ，用空格分开，要求输出 grandchild? grandparent [grid@hadoop1 ~]$ hadoop fs -cat ./in/genealogy.txt
Tom Lucy
Tom Jack
Jone L...
分类：
其他好文 时间：
2015-02-01 23:25:25
阅读次数：
420
实现真正的分布式的hadoop，并不是伪分布式的。
一、系统与配置
共准备2台机器搭建Hadoop集群。基于Ubuntu14.04，jdk1.6.0_45，Hadoop1.0.3版本，虚拟机使用VMware10.0
192.168.1.10 NameNode master （master）
192.168.1.20 DateNode slave1（Slave）...
分类：
系统相关 时间：
2015-01-28 09:55:38
阅读次数：
290
1、安装Cygwin 从http://www.cygwin.com/下载cygwin的setup.exe，双击运行： 选择从Internet安装： 设置安装目录： 设置安装包目录： 设置“Internet Connection”的方式，选择“Direct Connection”： 选...
先安装hadoop1.2.1，见http://blog.csdn.net/jediael_lu/article/details/38926477
1、配置hbase-site.xml
hbase.zookeeper.quorum
master,slave1,slave2
hbase.rootdir
hdfs://master:9000/hbase
...
分类：
其他好文 时间：
2015-01-24 17:20:41
阅读次数：
197
mahout作为开源软件包，集成了很多机器学习和数据挖掘算法，详细可见 mahout官网 。
关于LDA，这里就不说了，详见大神的
LDA数学八卦 。这里只是想吐嘈mahout官网lda的使用文档：根本就没什么文档嘛！
在mahout-0.9及以前版本，只支持hadoop1.0 . 支持hadoop2.0的mahout只有1.0-SNAPSHOT ， 不过是可以用的。现...
分类：
其他好文 时间：
2015-01-23 13:28:21
阅读次数：
214
