码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop深入了解(二)

时间:2015-08-04 11:02:17      阅读:143      评论:0      收藏:0      [点我收藏+]

标签:

一、hadoop安装

1.设置静态ip,在windows下查看虚拟机ip,同事更改centos的网络链接为host-only模式,更改Addresscip ,netmask.gateway.

执行#service network restart

验证#ipconfig

2.用工具pietty,简历远程登录,修改主机名,#hostname 主机名。然后#vi /etc/sysconfig/network永久更改主机名

#vi etc/hosts 更改主机名和ip绑定。

3.关闭防火墙,#service iptables stop

关闭自启功能 #chkconfig iptables off

或者用setup关闭服务、

4.查看服务列表#chkconfig --list |grep iptables

5.ssh服务,免密码登陆。像其他的服务,例如FTP,POP,telnet一样都是c/s模型,但是更安全。

进入。ssh目录下

产生公钥和私钥 #ssh-keygen -t rsa 

复制公钥到# cp gongyao authorized_keys

验证 #ssh localhost

6.文件传输工具winscp。把jdk和hadoop上传至usr/local下

ls -l查看权限,不够增加权限#chkconfig u+x 文件名。

7./解压jdk文件,是指环境变量# vi /etc/profile

#service /etc/profile立即生效

java_version查看 

tar -zxvf hadoop

vi /etc/profile

修改四个配置文件

格式化hadoop namenode -format

jps查看进程50070和50030

HDFS命令

1、hadoop fs -ls  hadoop fs -lsr

2、hadoop  fs -pu t       -get    -rm  -rmr   text cat 

本质hadoop fs 相当于hdfs://hadoop0:90001

3.在core_defaual.xml中设置block大小,默认64MB

dfs.data.dir中是datanode中的数据位置

 

hadoop深入了解(二)

标签:

原文地址:http://www.cnblogs.com/dandandeyoushangnan/p/4701078.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!