启动脚本分析 独立部署模式下，主要由master和slaves组成，master可以利用zk实现高可用性，其driver，work，app等信息可以持久化到zk上；slaves由一台至多台主机构成。Driver通过向Master申请资源获取运行环境。 启动master和slaves主要是执行/usr ...
分类：
其他好文 时间：
2020-01-26 19:28:29
阅读次数：
89
紧接上一次。 这次是对于spark安装的总结。 首先便是下载spark。 从官网上可以找到用户提供Hadoop环境的安装包，另外值得一提的是用户也可以无需自己安装hadoop而是选择原装包括了hadoop的安装包。 放入虚拟机之后解压缩，修改权限，之后就可以开始配置了。 配置文件需要配置slaves ...
分类：
其他好文 时间：
2020-01-18 14:25:52
阅读次数：
82
配置主机名称 oot@localhost ~]# vim /etc/hostname mail.linuxprobe.com oot@localhost ~]# hostname mail.linuxprobe.com [root@localhost ~]# iptables -F [root@lo ...
分类：
其他好文 时间：
2020-01-10 23:51:47
阅读次数：
106
[TOC] 前提：环境变量 一、local模式 1.配置 2.运行 二、Standalone模式 1.配置 1.1 spark env.sh 1.2 slaves 2.运行 三、Yarn模式 1.配置 1.1 spark env.sh 1.2 yarn site.xml(yarn) 1.3 spar ...
分类：
其他好文 时间：
2020-01-10 12:53:04
阅读次数：
103
一 整体介绍 1.1 硬件环境 本文使用三台服务器搭建hadoop集群，使用Centos7.5系统，服务器均有独立ip 1.2 部署的软件 部署服务：namenode（HA）,resourcemanager（HA）,zookeeper，hbase（HA）,spark,kafka,geomesa 版本 ...
分类：
其他好文 时间：
2019-12-31 14:12:21
阅读次数：
94
一、 集群配置 实际生产中，需要配置集群，来配合使用。 需要安装插件 SSH Slaves 在主节点中进行配置 。 在Configure Global Security中开启TCP port for JNLP agents 随机选取或指定端口 在agent 中进行设置，可以指定端口，也可以随机端口。 ...
分类：
其他好文 时间：
2019-12-21 13:39:51
阅读次数：
112
删除旧master或者不可达slave sentinel永远会记录好一个Master的slaves，即使slave已经与组织失联好久了。这是很有用的，因为sentinel集群必须有能力把一个恢复可用的slave进行重新配置。 并且，failover后，失效的master将会被标记为新master的一 ...
分类：
其他好文 时间：
2019-12-11 23:12:46
阅读次数：
110
配置文件 core-site.xml 1,start all zk 2,start journalnode on each vm hadoop start journalnode 3, hadoop format 4, copy all hadoop tmp/dir to slaves 5, for ...
分类：
其他好文 时间：
2019-11-23 22:08:22
阅读次数：
76
1、hadoop-env.sh配置，2、hdfs-site.xml配置文件，3、core-site.xml配置文件，4、mapred-site.xml配置，5、yarn-site.xml配置，6、slaves配置（DataNode）
分类：
其他好文 时间：
2019-11-09 23:32:30
阅读次数：
135
1、安装jdk 2、配置java环境变量 3、配置ssh免密钥登陆 4、解压hadoop安装包 5、配置hadoop环境变量 6、hadoop的java环境变量配置 7、配置core-site.xml 8、配置hdfs-site.xml 9、配置slaves文件 10、格式化hdfs 11、启动集群 ...
分类：
其他好文 时间：
2019-10-27 16:57:48
阅读次数：
94
