MapReduce 基于HDFS 1.环境搭建起来 伪分布式2.MapReduce是基于HDFS之上的 MapReduce计算的内容应该是HDFS上的文件/文件夹3.计算=>统计=>Mapper阶段=>Reduce阶段 MapReduce的编程模型4.Mapper类 继承Mapper类 重写Mapp ...
分类：
其他好文 时间：
2020-03-07 00:12:42
阅读次数：
69
一、配置相关文件 在hadoop-2.9.2下etc/hadoop/core-site.xml中配置： <configuration> <!--指定HDFS中NameNode的地址--> <property> <name>fs.defaultFS</name> <value>hdfs://hadoo ...
分类：
其他好文 时间：
2020-03-01 14:06:24
阅读次数：
96
1.准备Linux环境 1.0 点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.8.0 子网掩码：255.255.255.0 -> apply -> ok 回到windo ...
分类：
其他好文 时间：
2020-02-27 19:16:47
阅读次数：
75
伪分布式只需要一台服务器就可以完成，搭建集群之前需要selinux和防火墙 1.安装java并配置环境变量 [root@node1 ~]# tar -xf jdk-8u144-linux-x64.gz -C /usr/ [root@node1 ~]# ln -sv /usr/jdk1.8.0_144 ...
分类：
其他好文 时间：
2020-02-22 15:33:28
阅读次数：
79
1.课程目标 实践性 2.课下需要 在家搭建一个伪分布式 3.阿达 3.1发送到 ...
分类：
其他好文 时间：
2020-02-20 20:18:46
阅读次数：
52
1、准备工作 下载一些用到的命令 yum install -y vim yum install -y lrzsz yum install net-tools 目录约定 /opt #工作目录 /opt/install #安装包 /opt/softwar #软件包 /opt/other #其它 /opt ...
分类：
其他好文 时间：
2020-02-20 20:05:35
阅读次数：
90
一、部署前的准备 （1）软件 一个空白的CentOS映像文件 Xshell（用于传输文件） （2）虚拟机配置 网络配置：网络适配器选择桥接 ip地址、子网掩码、网关、DNS服务器地址 =>可以在安装时的图形界面完成配置 =》也可以 vim /etc/sysconfig/network-script/ ...
分类：
其他好文 时间：
2020-02-20 17:20:50
阅读次数：
82
在opt目录创建install software test other四个目录 /opt/installed #安装包/opt/software #软件包/opt/other #其他/opt/test #测试 1.上传hadoop yum install lrzsz //安装lrzsz用于上传 cd ...
分类：
其他好文 时间：
2020-02-20 17:02:30
阅读次数：
92
一、安装hadoop 1、将文件解压到/usr/local [root@localhost src]# tar -zxvf hadoop-2.4.1.tar.gz -C /usr/local/ 2、配置环境变量 [root@localhost src]# vim /etc/profile 增加以下配 ...
分类：
其他好文 时间：
2020-02-10 13:55:50
阅读次数：
75
配置ssh 允许本机远程连接： 系统偏好设置->共享->点击选中 远程登录 【否则报错：ssh: connect to host localhost port 22: Connection refused】 允许免密ssh ssh-keygen -t rsa【一直回车到底】 cat ~/.ssh/i ...
分类：
系统相关 时间：
2020-02-01 19:46:42
阅读次数：
209
