1.Hadoop部署包下载(apache社区版) 1.1下载地址 http://www.apache.org/dyn/closer.cgi/hadoop/common/ 1.2下载注意(稳定版下载) 2.查看部署包内安装手册 2.1解压部署包后，用浏览器打开(hadoop-3.1.3\share\d ...
分类：
其他好文 时间：
2020-05-21 13:13:24
阅读次数：
59
前期准备 （1）JAVA_HOME：因为Hadoop的配置文件中依赖 $JAVA_HOME。修改/etc/profile文件。 （2）hostname：修改主机名，方便管理。/etc/sysconfig/network。 （3）ip hostname：方便管理，hadoop默认是使用hostname ...
分类：
其他好文 时间：
2020-02-27 23:43:16
阅读次数：
120
主要内容 Hadoop安装 前提 zookeeper正常使用 JAVA_HOME环境变量 安装包 "微云下载 | tar包目录下" Hadoop 2.7.7 角色划分 角色分配|NN|DN|SNN | | | cluster master|是|否|否 cluster slave1|否|是|是 clu ...
分类：
其他好文 时间：
2019-09-30 12:27:46
阅读次数：
97
一、准备工作准备3台centOS 7关闭防火墙： systemctl stop firewalld.service 禁用防火墙：systemctl disable firewalld.service 查看防火墙状态firewall-cmd --state 重启 reboot二、实现三台机器ssh免密 ...
分类：
其他好文 时间：
2019-06-06 18:57:54
阅读次数：
82
一、Hive简介1、什么是HiveHive由Facebook实现并开源，是基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供HQL(HiveSQL)查询功能，底层数据是存储在HDFS上。Hive的本质是将SQL语句转换为MapReduce任务运行，使不熟悉MapReduce的用户很方便地利用HQL处理和计算HDFS上的结构化的数据，适用于离线的批量数据计算。Hive依
分类：
其他好文 时间：
2018-11-16 21:02:55
阅读次数：
169
一、HBase是什么HBase是建立在Hadoop文件系统之上的分布式面向列的数据库。它是一个开源项目，是横向扩展的。HBase是一个数据模型，类似于谷歌的大表设计，可以提供快速随机访问海量结构化数据。它利用了Hadoop的文件系统（HDFS）提供的容错能力。它是Hadoop的生态系统，提供对数据的随机实时读/写访问，是Hadoop文件系统的一部分。人们可以直接或通过HBase的存储HDFS数据。
分类：
其他好文 时间：
2018-11-16 20:56:54
阅读次数：
137
一、Hadoop介绍Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。1、HDFS介绍Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthr
分类：
其他好文 时间：
2018-11-16 20:54:44
阅读次数：
116
一、Spark是什么Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用分布式并行计算框架。Spark拥有hadoopMapReduce所具有的优点，但和MapReduce的最大不同之处在于Spark是基于内存的迭代式计算——Spark的Job处理的中间输出结果可以保存在内存中，从而不再需要读写HDFS，除此之外，一个MapReduce在计算过程中只有map和
分类：
其他好文 时间：
2018-11-16 20:51:02
阅读次数：
168
一、Zookeeper功能简介ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是GoogleChubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、配置维护，名字服务、分布式同步、分布式锁和分布式队列等功能。二、ZooKeeper基本概念1、集群角色一个ZooKeeper集群同一时刻只会有一
分类：
其他好文 时间：
2018-11-16 20:43:00
阅读次数：
219
一、软硬件规划ID主机类型主机名IP应用软件操作系统硬件配置1物理机namenode01192.168.1.200jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10spark-2.3.1|CentOS7.4|6核CPU、8G内存、250存储||2|物理机|datanode01|192.168.1.201|jdk1.8.
分类：
其他好文 时间：
2018-11-15 15:32:31
阅读次数：
124
