Centos6下安装伪分布式hadoop集群，选取的hadoop版本是apache下的hadoop2.7.1，在一台linux服务器上安装hadoop后，同时拥有namenode，datanode和secondarynamenode等节点的功能，下面简单安装下。 前置准备 主要涉及防火墙关闭、jdk ...
分类：
其他好文 时间：
2019-12-06 00:03:53
阅读次数：
99
大数据与云计算的关系就像一枚硬币的正反面一样密不可分，大数据是云计算非常重要的应用场景，而云计算则为大数据的处理和数据挖掘都提供了最佳的技术解决方案。云计算的快速供给、弹性扩展以及按用量付费的优势已经给IT行业带来了巨大变化，它已经日益成为企业IT的首选。在让企业通过数据洞察提升效率和效益的同时，如 ...
分类：
其他好文 时间：
2019-12-03 20:05:48
阅读次数：
96
1. 前置条件: 已经安装好了带有HDFS, MapReduce, Yarn 功能的 Hadoop集群 链接: "ubuntu18.04.2 hadoop3.1.2+zookeeper3.5.5高可用完全分布式集群搭建" 2. 上传tar包并解压到指定目录: 3. 修改hive配置文件: 新建文件夹 ...
分类：
其他好文 时间：
2019-12-02 13:51:54
阅读次数：
127
hadoop集群时间同步 第一种方法 通过网络链接外网进行时间同步，必须保证虚拟机是可以联网的 通过阿里云的时钟同步服务器 ? 第二种方式 通过某一台机器进行时间同步 所有操作必须在root用户下执行 1. 查看三台机器是否安装了ntp时钟同步工具 1. 如果没有安装执行以下命令来安装 2. 三台机 ...
分类：
其他好文 时间：
2019-11-27 23:30:28
阅读次数：
96
重复造轮子，这里使用重新打包生成一个基于Docker的Hadoop镜像； Hadoop集群依赖的软件分别为：jdk、ssh等，所以只要这两项还有Hadoop相关打包进镜像中去即可； 配置文件准备 1、Hadoop相关配置文件：core site.xml ...
分类：
其他好文 时间：
2019-11-25 09:24:09
阅读次数：
82
背景：我自己的电脑配置太低，想在centos操作系统上安装CDH5.1.2并配置集群，我去阿里云上买了3台按流量计费的阿里云服务器。 大家一定要注意，配置，购买的阿里云服务器不要太低了。建议：3台2核8G内存的阿里云服务器。测试完毕后，请及时释放掉这三台服务器，否则阿里云会继续计费，很快消耗掉账户里 ...
分类：
其他好文 时间：
2019-11-23 23:47:10
阅读次数：
136
1.windows配置环境变量hadoop，winutils.exe和hadoop.dll下载链接：https://share.weiyun.com/5eebZFr 2.demo： （1）pom.xml： <?xml version="1.0" encoding="UTF-8"?> <project ...
分类：
其他好文 时间：
2019-11-23 16:12:36
阅读次数：
76
准备： 两台配置CentOS 7.3的阿里云ECS服务器； hadoop-2.7.3.tar.gz安装包； jdk-8u77-linux-x64.tar.gz安装包； hostname及IP的配置： 更改主机名： 由于系统为CentOS 7，可以直接使用‘hostnamectl set-hostna ...
分类：
其他好文 时间：
2019-11-23 13:12:49
阅读次数：
108
本篇将在阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建的基础上搭建，多添加了一个 datanode 节点 。 1 节点环境介绍： 1.1 环境介绍： 服务器：三台阿里云ECS服务器：master, slave1, slave2 操作系统：CentOS 7.3 Had ...
分类：
其他好文 时间：
2019-11-23 13:10:47
阅读次数：
98
本篇将在阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建的基础上搭建，多添加了一个 datanode 节点 。 1 节点环境介绍： 1.1 环境介绍： 服务器：三台阿里云ECS服务器：master, slave1, slave2 操作系统：CentOS 7.3 Had ...
分类：
其他好文 时间：
2019-11-23 13:04:25
阅读次数：
81
