一、概述 1.Hadoop 是 Apache提供的开源的、可靠的、可扩展的，用于分布式计算的框架 2.Hadoop 除了官网提供的发行版本以外，各大厂商也提供了发行版：Cloudera的CDH、华为的HDP 二、发展 1.创始人：Doug Cutting和Mike Cafarella 2.在2002 ...
分类：
其他好文 时间：
2020-06-21 13:27:38
阅读次数：
141
1 hadoop 在虚拟机上的安装与配置 下载地址 http://archive.cloudera.com/cdh5/cdh/5/ 演示的下载包 http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1.tar.gz 下载解压 环境c ...
分类：
其他好文 时间：
2020-06-20 00:48:56
阅读次数：
63
第1章 Flume概述 1.1 Flume定义 Flume(水槽) 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 在2009年Flume被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flum ...
分类：
Web程序 时间：
2020-05-30 19:56:36
阅读次数：
89
CDH6.3.2开启Kerberos认证标签（空格分隔）：大数据平台构建一：如何安装及配置KDC服务二：如何通过CDH启用Kerberos三：如何登录Kerberos并访问Hadoop相关服务一：如何安装及配置KDC服务1.1系统环境1.操作系统：CentOS7.5x642.CDH6.3.23.采用root用户进行操作1.2KDC服务安装及配置1.在ClouderaManager服务器上安装KDC
分类：
其他好文 时间：
2020-05-30 11:10:46
阅读次数：
263
ClouderaCDH集群的部署实际上主要是ClouderaManager的部署，在说的直白点儿那就是ClouderaManagerServer和本地YUM源的部署与搭建。ClouderaCDH和Manager6.3.3及以后版本升级需要有效的clouderaenterprise或者cdp数据中心授权，这意味着ClouderaCDH和Manager免费社区版本将会停留在6.3.2版，一直以资金不足
分类：
其他好文 时间：
2020-05-29 09:52:25
阅读次数：
100
Cloudera CDH集群的部署实际上主要是Cloudera Manager的部署，在说的直白点儿那就是Cloudera Manager Server和本地YUM源的部署与搭建。 Cloudera CDH和Manager 6.3.3 及以后版本升级需要有效的cloudera enterprise或 ...
分类：
其他好文 时间：
2020-05-28 21:35:22
阅读次数：
128
第一步，需要在CDH上安装Spark 2，由于我的CDH是5.15.x，只能通过CDS的方式安装。官方指导在https://docs.cloudera.com/documentation/spark2/latest/topics/spark2.html。 总结下，需要手动下载cds文件上传到CM服务 ...
分类：
其他好文 时间：
2020-05-15 13:51:05
阅读次数：
77
一、flume是什么 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 flume的架构： flume的组成架构： 二、flume的组件介绍 1、Agent Agent是一个JVM进程，它以事件的形式将数据从源头送至 ...
分类：
Web程序 时间：
2020-05-14 00:59:14
阅读次数：
91
VM安装 0、下载 "VMware Workstation Pro" 确立了在单台 Linux 或 Windows PC 上运行多个操作系统的行业标准。 Workstation 15.5 Pro 通过提供全新的用户界面控件，支持巨型帧以及最新的 Windows 和 Linux 操作系统等，进一步完善 ...
分类：
其他好文 时间：
2020-05-02 00:30:16
阅读次数：
110
一.hadoop版本概述 不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）,Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）, Hortonwo ...
分类：
其他好文 时间：
2020-04-28 17:00:18
阅读次数：
557
