学习一个新框架方法： 推荐：官网+源码 跪在坚持 hadoop.apache.org spark.apache.org flink.apache.org storm.apache.org Hadoop:由HDFS/YARN/Map Reduce构成 HDFS 一个NameNode 和多个DATa N ...
分类：
其他好文 时间：
2020-02-21 18:19:23
阅读次数：
55
-help:查看帮助 hadoop fs -help rm -rm [-f] [-r|-R] [-skipTrash] <src> ... : Delete all files that match the specified file pattern. Equivalent to the Unix ...
分类：
其他好文 时间：
2020-02-21 14:29:07
阅读次数：
80
大致可以将大数据的计算引擎分成了 4 代。 1、第一代的计算引擎，无疑就是Hadoop承载的MapReduce。它将每个JobApp都被设计为两个阶段，分别为Map和Reduce。对于上层应用来说，就不得不想方设法去拆分算法，甚至于不得不在 上层应用实现多个App的串联 ，才能完成一个完整的算法，例 ...
分类：
其他好文 时间：
2020-02-21 12:50:43
阅读次数：
77
-help:查看帮助 hadoop fs -help rm -rm [-f] [-r|-R] [-skipTrash] <src> ... : Delete all files that match the specified file pattern. Equivalent to the Unix ...
分类：
其他好文 时间：
2020-02-21 12:50:31
阅读次数：
57
命令的基本格式： 在HDFS的文件系统中，HDFS只支持绝对路径 hadoop【程序】 fs【菜单】 -help【菜单下的一个子选项】查看帮助 1.-ls 显示目录信息 hadoop fs -ls / 查看根目录下面的所有文件和文件夹【只能看到第一层的东西】 2.-lsr 递归显示文件信息 hado ...
分类：
其他好文 时间：
2020-02-21 09:49:54
阅读次数：
124
上传： #!/bin/sh set -x set -e local_rootPath=/hadoop/datadir/windeploy/temp host="192.168.12.2" # 需要上传的ftp地址 port="21" # 端口 user="ftpuser" # ftp登陆的用户名 p ...
分类：
Web程序 时间：
2020-02-21 09:29:39
阅读次数：
95
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览 流水线(PipeLine)，简单地理解就是客户端向DataNode传输数据(Packet)和接收DataNode回复(ACK)[Acknowledge]的数据通路。 整条流水线由若干个DataNode串 ...
分类：
其他好文 时间：
2020-02-20 23:44:31
阅读次数：
94
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览 首先，我们要提出HDFS存储特点： 1.高容错 2.一个文件被切成块(新版本默认128MB一个块)在不同的DataNode存储 3.客户端通过流水线，在NameNode的调节下，将数据以Packet的形 ...
分类：
其他好文 时间：
2020-02-20 23:37:02
阅读次数：
101
一、安装CentOS 过程略 下载地址：链接：https://pan.baidu.com/s/1nursRf23DjI5ynmuVvUYuw 提取码：76xk 二、配置CentOS网络设置 1.进入网络配置cd /etc/sysconfig/network-scripts 2.打开ens33配置vi ...
分类：
其他好文 时间：
2020-02-20 20:44:46
阅读次数：
80
1、准备工作 下载一些用到的命令 yum install -y vim yum install -y lrzsz yum install net-tools 目录约定 /opt #工作目录 /opt/install #安装包 /opt/softwar #软件包 /opt/other #其它 /opt ...
分类：
其他好文 时间：
2020-02-20 20:05:35
阅读次数：
90
