Window 10 下的WSL子系统的安装可以参考之前的文章：window10 WSL子系统上设置redis开发环境 有时候，为了在window系统上进行hadoop开发和测试，可以在WSL上安装hadoop的伪分布式系统 因为子系统使用的是ubuntu 18.04，所以下面的安装以此为参考 下面是 ...
一、配置相关文件 在hadoop-2.9.2下etc/hadoop/core-site.xml中配置： <configuration> <!--指定HDFS中NameNode的地址--> <property> <name>fs.defaultFS</name> <value>hdfs://hadoo ...
分类：
其他好文 时间：
2020-03-01 14:06:24
阅读次数：
96
伪分布式只需要一台服务器就可以完成，搭建集群之前需要selinux和防火墙 1.安装java并配置环境变量 [root@node1 ~]# tar -xf jdk-8u144-linux-x64.gz -C /usr/ [root@node1 ~]# ln -sv /usr/jdk1.8.0_144 ...
分类：
其他好文 时间：
2020-02-22 15:33:28
阅读次数：
79
一、部署前的准备 （1）软件 一个空白的CentOS映像文件 Xshell（用于传输文件） （2）虚拟机配置 网络配置：网络适配器选择桥接 ip地址、子网掩码、网关、DNS服务器地址 =>可以在安装时的图形界面完成配置 =》也可以 vim /etc/sysconfig/network-script/ ...
分类：
其他好文 时间：
2020-02-20 17:20:50
阅读次数：
82
配置ssh 允许本机远程连接： 系统偏好设置->共享->点击选中 远程登录 【否则报错：ssh: connect to host localhost port 22: Connection refused】 允许免密ssh ssh-keygen -t rsa【一直回车到底】 cat ~/.ssh/i ...
分类：
系统相关 时间：
2020-02-01 19:46:42
阅读次数：
209
1、准备工作 1.1 给虚拟机取个 hostname。 而且配置 hosts。如果要和win做联合开发的话，和win的hosts文件，做一样的域名映射。 # 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdo ...
分类：
系统相关 时间：
2020-01-27 22:00:19
阅读次数：
106
hadoop所有的配置文件都是在 etc/hadoop下 (1)配置集群 第一步:在hadoop下修改core-site.xml文件 vim etc/hadoop/core-site.xml <configuration> <!-- 指定HDFS中Name Node的地址--> <property> ...
分类：
其他好文 时间：
2019-12-11 13:06:14
阅读次数：
104
背景：hadoop版本为3.1.3, 且以伪分布式形式安装，hive版本为3.1.2，hive为hadoop的一个客户端。 1. 安装简要步骤 (1) 官网下载apache-hive-3.1.2-bin.tar.gz，并解压缩 (2) 进入conf配置文件夹，将hive-env.sh.templat ...
分类：
其他好文 时间：
2019-11-30 19:04:36
阅读次数：
184
虚拟机搭建自定义类型 主机名为hadoop可以省略 很多步骤 1.安装虚拟机 配置和网络 (1)IPADDR (2)NETMASK (3)GATEWAY (4)DNS1 远程连接 Xshell 关闭防火墙 （1）service iptables stop （2）chkconfig iptables ...
分类：
其他好文 时间：
2019-11-09 11:20:37
阅读次数：
91
[TOC] 版本与环境 虚拟机：VMware Workstation Pro 15 Linux镜像： "Ubuntu 18.04.2 live server amd64.iso" Java版本： "jdk 8u231 linux x64.tar.gz" Hadoop版本： "version 3.1. ...
分类：
其他好文 时间：
2019-10-28 21:20:56
阅读次数：
122
