1.Hadoop部署包下载(apache社区版) 1.1下载地址 http://www.apache.org/dyn/closer.cgi/hadoop/common/ 1.2下载注意(稳定版下载) 2.查看部署包内安装手册 2.1解压部署包后，用浏览器打开(hadoop-3.1.3\share\d ...
分类：
其他好文 时间：
2020-05-21 13:13:24
阅读次数：
59
第一步：配置网络（静态IP） （网卡名称可能不同） 1. 修改： 将该配置文件中的ONBOOT=no修改为yes（网络开机自启） 将BOOTPROTO=dhcp修改为static（将ip设置为静态ip） 2. 为了能够通过外部访问到虚拟机，增加： IPADDR=192.168.154.110（110 ...
分类：
其他好文 时间：
2020-05-17 20:35:34
阅读次数：
76
1、Linux基础环境配置：CentOS7安装、配置 1.1、虚拟机安装Linux操作系统 A）Linux操作系统版本：CentOS 7 x86_64 DVD 1908.iso B）虚拟机安装CentOS配置：内存：1G，CPU：1，硬盘：40G C）网络：桥接 1.2、CentOS网络配置 A）C ...
分类：
其他好文 时间：
2020-05-05 19:43:47
阅读次数：
58
配置 Hadoop 伪分布式 任务配置说明: VMware 15 Centos 6.5 java -jdk 1.8 hadoop-2.6.0-cdh5.14.0.tar.gz 第一步 自行安装虚拟机 第二步 开始大配置 修改主机名和用户名 vim /etc/sysconfig/network --( ...
分类：
其他好文 时间：
2020-04-26 01:41:23
阅读次数：
69
0x00 java环境配置 Hadoop需要java环境，首先检测是否存在java环境： java –version 如果没有，则需要去Oracle官网下载jdk： https://www.oracle.com/cn/java/technologies/javase-jdk8-downloads.h ...
分类：
系统相关 时间：
2020-04-19 13:00:02
阅读次数：
84
Window 10 下的WSL子系统的安装可以参考之前的文章：window10 WSL子系统上设置redis开发环境 有时候，为了在window系统上进行hadoop开发和测试，可以在WSL上安装hadoop的伪分布式系统 因为子系统使用的是ubuntu 18.04，所以下面的安装以此为参考 下面是 ...
Hadoop有三种模式：本地模式、伪分布模式、集群模式 1、本地模式 1、在/opt下面创建一个software文件 2、将文件hadoop-2.6.5.tar.gz拷贝到 /opt/software下面 3、在usr下创建hadoop把hadoop-2.6.5.tar.gz 复制到 /usr/ha ...
分类：
其他好文 时间：
2020-04-02 11:42:47
阅读次数：
75
本文参考 关于环境搭建，imooc上关于hadoop、hbase、spark等课程上有很多环境搭建的例子，但是有些并没有说明为什么选择这个的版本，我们知道这些开源的技术发展很快，所以有必要搞清楚如何对它们进行版本选择 环境 spark 2.2.0 + scala 2.11.8 + hbase1.3.... ...
分类：
其他好文 时间：
2020-03-28 13:35:54
阅读次数：
84
大数据伪分布式搭建 ***对于大数据这块相信大家对linux有一定的认识，所有对创建虚拟机那块就不给予详细的说明了。 基础环境的搭建 1.系统环境 平台:VMware Workstation pro 系统：centos 7 Hadoop版本： Apache Hadoop 3.0.0 本次实验是搭建一 ...
分类：
其他好文 时间：
2020-03-20 12:23:47
阅读次数：
56
阿里云禁止我的这个外网访问，解决如下： 将云服务器的/etc/hosts文件外网IP地址修改为内网IP地址 .1进入阿里云ECS实例控制台 2.选择更多-安全组配置 3.选择配置规则 4.选择添加安全组规则 5.添加安全组规则 可根据需要选择协议类型及设置对应端口范围，为了省事，我选择协议类型为全部 ...
分类：
其他好文 时间：
2020-03-14 12:32:27
阅读次数：
197
