Hadoop基础之环境搭建 环境搭建 本地环境 可以用于开发的单节点模式，没有分布式的概念 伪分布式环境 一个节点表示一整个集群，但是分布式的概念，一个节点充当分布式里的所有角色 完全分布式 一个集群中有N个节点，他们分别充当分布式中不同的角色，完成不同的任务 伪分布式环境搭建 下载安装包 Hado ...
分类：
其他好文 时间：
2020-10-26 11:17:07
阅读次数：
16
搭建hadoop伪分布式环境时，要先搭建hadoop环境，参考 url: https://www.cnblogs.com/gzgBlog/p/13702720.html 1.进入hadoop配置文件目录 cd /app/hadoop-2.2.0/etc/hadoop 2.修改core-site.xm ...
分类：
其他好文 时间：
2020-09-23 23:32:22
阅读次数：
46
Hadoop HA 集群搭建 Hadoop HA 集群搭建Hadoop 完全分布式环境搭建集群规划集群部署前提Hadoop伪分布式环境搭建配置IP映射安装 Java 与 Hadoop配置 Hadoop配置 MapReduce 与 YARN集群配置配置基本参数配置 SSH 免密登录格式化 HDFS启动 ...
分类：
其他好文 时间：
2020-09-18 03:33:30
阅读次数：
38
1.Hadoop平台: 1.理论概念:结构组成: 1. HDFS分布式文统.2.MapReduce计算大数据. 3Yarn任务调度与资源管理. 2. 伪分布式环境搭建: 网络配置: 配置网卡信息: vi /etc/sysconfig/network 配置主机的虚拟域名: vi /etc/hosts ...
分类：
其他好文 时间：
2020-06-21 11:26:51
阅读次数：
96
本文参考 关于环境搭建，imooc上关于hadoop、hbase、spark等课程上有很多环境搭建的例子，但是有些并没有说明为什么选择这个的版本，我们知道这些开源的技术发展很快，所以有必要搞清楚如何对它们进行版本选择 环境 spark 2.2.0 + scala 2.11.8 + hbase1.3.... ...
分类：
其他好文 时间：
2020-03-28 13:35:54
阅读次数：
84
1、准备工作 1.1 给虚拟机取个 hostname。 而且配置 hosts。如果要和win做联合开发的话，和win的hosts文件，做一样的域名映射。 # 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdo ...
分类：
系统相关 时间：
2020-01-27 22:00:19
阅读次数：
106
一、准备Linux环境 1、安装目前常用的VMware，和Linux虚拟机（可以复制、拷贝） 2、使用 vim /etc/sysconfig/network进行修改主机名 3、使用 vim /etc/sysconfig/network-scripts/ifcfg-eth0 进行修改IP,设置自己的I ...
分类：
其他好文 时间：
2018-09-18 22:49:52
阅读次数：
216
本篇文章是接上一篇《超详细hadoop虚拟机安装教程（附图文步骤）》，上一篇有人问怎么没写hadoop安装。在文章开头就已经说明了，hadoop安装会在后面写到，因为整个系列的文章涉及到每一步的截图，导致文章整体很长。会分别先对虚拟机的安装、Linux系统安装进行介绍，然后才会写到hadoop安装，关于hadoop版本我使用的是大快搜索三节点发行版DKhadoop。
分类：
系统相关 时间：
2018-07-30 14:55:38
阅读次数：
163
本篇文章是接上一篇《超详细hadoop虚拟机安装教程（附图文步骤）》，上一篇有人问怎么没写hadoop安装。在文章开头就已经说明了，hadoop安装会在后面写到，因为整个系列的文章涉及到每一步的截图，导致文章整体很长。会分别先对虚拟机的安装、Linux系统安装进行介绍，然后才会写到hadoop安装，关于hadoop版本我使用的是大快搜索三节点发行版DKhadoop。
分类：
系统相关 时间：
2018-07-30 14:47:33
阅读次数：
237
