准备 1、hadoop集群已安装，这里将在Centos7安装Hadoop2.7的基础上安装hbase1.4，所以是同样的三台机器，其规划如下： 2、官网下载安装包：hbase-1.4.12-bin.tar.gz（推荐去清华大学或中科大的开源镜像站）。 3、hbase将部署在三台都已存在的路径/myd ...
分类：
其他好文 时间：
2019-12-06 19:29:47
阅读次数：
95
准备 1、三台Centos7的机器，在/etc/hosts中都加上所有的hostname解析： 172.20.0.4 node1 172.20.0.5 node2 172.20.0.6 node3 2、配置node1到三台机器的免密登录 3、全部安装jdk8 4、官网下载安装包：hadoop-2.7 ...
分类：
其他好文 时间：
2019-12-06 13:44:30
阅读次数：
145
Centos6下安装伪分布式hadoop集群，选取的hadoop版本是apache下的hadoop2.7.1，在一台linux服务器上安装hadoop后，同时拥有namenode，datanode和secondarynamenode等节点的功能，下面简单安装下。 前置准备 主要涉及防火墙关闭、jdk ...
分类：
其他好文 时间：
2019-12-06 00:03:53
阅读次数：
99
首先准备工具环境：hadoop2.7+mysql5.7+sqoop1.4+hive3.1 准备一张数据库表： 接下来就可以操作了。。。 一、将MySQL数据导入到hdfs 首先我测试将zhaopin表中的前100条数据导出来，只要id、jobname、salarylevel三个字段。 再Hdfs上创 ...
分类：
数据库 时间：
2019-12-01 17:03:39
阅读次数：
118
1.下载地址: http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.0.0-preview/spark-3.0.0-preview-bin-hadoop2.7.tgz 上传虚拟机或服务器 2. 解压文件 tar -xzvf spark-3 ...
分类：
其他好文 时间：
2019-11-24 19:48:33
阅读次数：
144
[TOC] 一，准备环境 基本配置如下： 初始化四台 虚拟机，配置如下： 修改系统时区 为方便使用建议如下配置： 安装 " " 插件； 设置 行号； 安装 插件服务； 安装 插件服务并加以配置，方便文件上传下载； 在 上安装 客户端； 在 上安装 客户端。 需要的软件： 在虚拟机做如下步骤：创建目录 ...
分类：
其他好文 时间：
2019-11-14 21:51:18
阅读次数：
116
对一般小公司来说 可能yarn调度能力足够了 但是对于大规模集群1000 or 2000+的话 yarn的调度性能捉襟见肘 恰好网上看到一篇很好的文章https://tech.meituan.com/2019/08/01/hadoop-yarn-scheduling-performance-opti ...
分类：
其他好文 时间：
2019-11-12 18:39:02
阅读次数：
90
[Toc] 0. Yarn的来源 ? hadoop 1.x的时代，并没有Yarn，hadoop核心组件只有HDFS和MapReduce。到了hadoop2.x才有了Yarn的诞生，组件包含HDFS，MapReduce和Yarn。 ? 诞生原因：hadoop 1.x存在的最大问题就是资源管理问题。技术 ...
分类：
其他好文 时间：
2019-11-04 15:11:45
阅读次数：
135
下载hadoop 2.7.7 网址如下 https://www eu.apache.org/dist/hadoop/core/ 移动到/opt 路径下 ...
分类：
其他好文 时间：
2019-11-01 18:12:16
阅读次数：
79
HA 高可用集群概述及其原理解析 1. 概述 1）所谓HA（High Available），即高可用（7 24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS 的HA和YARN的HA。 3）Hadoop2.0之前，在HDFS集群中Name ...
分类：
其他好文 时间：
2019-10-28 01:08:29
阅读次数：
582
