命令的基本格式： 在HDFS的文件系统中，HDFS只支持绝对路径 hadoop【程序】 fs【菜单】 -help【菜单下的一个子选项】查看帮助 1.-ls 显示目录信息 hadoop fs -ls / 查看根目录下面的所有文件和文件夹【只能看到第一层的东西】 2.-lsr 递归显示文件信息 hado ...
分类：
其他好文 时间：
2020-02-21 09:49:54
阅读次数：
124
上传： #!/bin/sh set -x set -e local_rootPath=/hadoop/datadir/windeploy/temp host="192.168.12.2" # 需要上传的ftp地址 port="21" # 端口 user="ftpuser" # ftp登陆的用户名 p ...
分类：
Web程序 时间：
2020-02-21 09:29:39
阅读次数：
95
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览 流水线(PipeLine)，简单地理解就是客户端向DataNode传输数据(Packet)和接收DataNode回复(ACK)[Acknowledge]的数据通路。 整条流水线由若干个DataNode串 ...
分类：
其他好文 时间：
2020-02-20 23:44:31
阅读次数：
94
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览 首先，我们要提出HDFS存储特点： 1.高容错 2.一个文件被切成块(新版本默认128MB一个块)在不同的DataNode存储 3.客户端通过流水线，在NameNode的调节下，将数据以Packet的形 ...
分类：
其他好文 时间：
2020-02-20 23:37:02
阅读次数：
101
一、安装CentOS 过程略 下载地址：链接：https://pan.baidu.com/s/1nursRf23DjI5ynmuVvUYuw 提取码：76xk 二、配置CentOS网络设置 1.进入网络配置cd /etc/sysconfig/network-scripts 2.打开ens33配置vi ...
分类：
其他好文 时间：
2020-02-20 20:44:46
阅读次数：
80
1、准备工作 下载一些用到的命令 yum install -y vim yum install -y lrzsz yum install net-tools 目录约定 /opt #工作目录 /opt/install #安装包 /opt/softwar #软件包 /opt/other #其它 /opt ...
分类：
其他好文 时间：
2020-02-20 20:05:35
阅读次数：
90
一、部署前的准备 （1）软件 一个空白的CentOS映像文件 Xshell（用于传输文件） （2）虚拟机配置 网络配置：网络适配器选择桥接 ip地址、子网掩码、网关、DNS服务器地址 =>可以在安装时的图形界面完成配置 =》也可以 vim /etc/sysconfig/network-script/ ...
分类：
其他好文 时间：
2020-02-20 17:20:50
阅读次数：
82
在opt目录创建install software test other四个目录 /opt/installed #安装包/opt/software #软件包/opt/other #其他/opt/test #测试 1.上传hadoop yum install lrzsz //安装lrzsz用于上传 cd ...
分类：
其他好文 时间：
2020-02-20 17:02:30
阅读次数：
92
1.使用hadoop是需要jdk环境的，因为hadoop里面有java程序，而运行java程序需要jdk。 2.从宿主机上传文件到虚拟机有很多方法，我选择的是在虚拟机安装lrzsz，安装lrzsz命令行：yum install y lrzsz 3.确定好软件安装路径 /opt 工作目录 /opt/i ...
分类：
其他好文 时间：
2020-02-20 15:34:25
阅读次数：
143
