配置好Hadoop、HDFS、YARN、Zookeeper集群后，需要按照顺序启动。 前期准备 配置好Hadoop、HDFS、YARN、Zookeeper集群 先stop掉所有的hadoop服务 使用 命令查看进程，确保只有 进程存在，没有其他的Hadoop服务进程。若存在Hadoop服务进程，使用 ...
分类：
其他好文 时间：
2018-05-23 00:00:08
阅读次数：
261
说明：在安装zookeeper+Hbase之前，我们应该已经将hadoop集群搭建好了（三个节点），并且验证启动成功。因为HBase是一种构建在HDFS之上的分布式、面向列的存储系 统。 zookeeper 安装及配置 貌似hBase自带的zookeeper只能用作伪分布式，想用于完全分布式要下载外 ...
分类：
其他好文 时间：
2018-05-20 14:14:36
阅读次数：
268
参考博客: https://www.unixhot.com/article/46 使用ambari 快速部署hadoop 集群 Ambari是 Apache Software Foundation 中的一个顶级项目。Ambari可以创建、管理、监控 Hadoop 的集群。包括整个Hadoop生态圈（ ...
分类：
其他好文 时间：
2018-05-18 17:12:58
阅读次数：
277
Hive在客户端上的安装部署 一、客户端准备： 到这我相信大家都已经打过三节点集群了，如果是的话则可以跳过一，直接进入二。如果不是则按流程来一遍！ 1、克隆虚拟机，见我的博客：虚拟机克隆及网络配置 2、 实现客户端和集群的连接（该步骤为多节点集群搭建，详情见我博客：三节点Hadoop集群搭建，有多节 ...
分类：
其他好文 时间：
2018-05-14 22:04:45
阅读次数：
207
hadoop集群 动态添加或删除节点 在运行中的ambari hadoop集中中动态添加或删除节点 1. 下线hdfs节点 1) 下线datanode namenode节点上dfs.exclude文件，看配置文件怎么配置的，里每行添加一个服务器名，如我要下线server7,server8,serve ...
分类：
其他好文 时间：
2018-05-13 19:10:07
阅读次数：
204
增删节点 数据迁移 一、所有事情开始之前，先要备份好cloudera manager的数据库，以及hadoop集群中的一些组件带的数据库。这里保存了很多元数据，像hive这种丢了很麻烦的。 二、如果需要换nameNode的存储目录 1、备份nameNode原始数据 cp -r /ddhome/dfs ...
分类：
其他好文 时间：
2018-05-13 19:06:53
阅读次数：
351
前言 我们使用hadoop2.6.0版本配置Hadoop集群，同时配置NameNode+HA、ResourceManager+HA，并使用zookeeper来管理Hadoop集群。 (一)HDFS概述 基础架构 1、NameNode（Master） 1)命名空间管理：命名空间支持对HDFS中的目录、 ...
分类：
其他好文 时间：
2018-05-11 00:49:01
阅读次数：
179
Hadoop集群搭建 发行版本集群简介HDFS集群负责海量数据的存储YARN集群负责海量数据运算时的资源调度MapReduceHadoop部署方式分类集群按以上分布的原因具体搭建步骤搭建前准备1.准备Linux环境1.0 配置好各虚拟机的网络（采用NAT联网模式）1.1修改各个虚拟机主机名1.2修改... ...
分类：
其他好文 时间：
2018-05-09 12:06:57
阅读次数：
176
转载自：http://bigdata.chinabyte.com/311/13871811.shtml数据湖听起来很简单：把数据或信息汇集到一个结合处理速度和存储空间的大数据系统――Hadoop集群或内存解决方案，那样业务部门就能访问数据，获取新的洞察力。不过，与IT行业的许多技术一样，现实比梦想困... ...
分类：
其他好文 时间：
2018-05-04 15:31:54
阅读次数：
256
环境：Centos 6.9，Hadoop 2.7.1,JDK 1.8.0_161,Maven 3.3.9 前言： 1、配置一台master服务器，两台或多台slave服务器。 2、master可以无密码ssh登陆slave 3、解压安装Hadoop，配置hadoop的core-site.xml、hd ...
分类：
其他好文 时间：
2018-05-04 11:47:17
阅读次数：
172
