本文是在CentOS7.4 下进行CDH6集群的完全离线部署。CDH5集群与CDH6集群的部署区别比较大。 说明:本文内容所有操作都是在root用户下进行的。 文件下载 首先一些安装CDH6集群的必须文件要先在外网环境先下载好。 Cloudera Manager 6.3.0 CM6 RPM:http ...
分类:
其他好文 时间:
2020-02-22 13:43:56
阅读次数:
169
#!/bin/bash #hadoop export HADOOP_HOME=/opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24 export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH rea ...
分类:
其他好文 时间:
2020-02-22 00:34:00
阅读次数:
95
说起国际的Hadoop认证必须提Hadoop商业化的三家马车:Hortonwork、Cloudera和MapR。Hortonwork、Cloudera合并之后由于版本的不同目前的考试认证还是分离的,如果你目前需要一个大数据方面的认证,那真的可以了解一下Cloudera。Cloudera总共4门认证,三门CCA,分别为CCA131、CCA159、CCA175;一门CCPDE。这四门认证是没有等级关系
分类:
其他好文 时间:
2020-02-17 17:56:00
阅读次数:
103
1. Flume介绍 1.1 Flume Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 1.2 系统功能 1 ...
分类:
Web程序 时间:
2020-02-17 15:40:44
阅读次数:
95
Hadoop CDH版本的安装:参考文档http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/ 下载地址:http://archive.cloudera.com/cdh5/cdh/5/ 安装的版本为:hadoop-2.6.0-cdh ...
分类:
其他好文 时间:
2020-02-13 19:31:10
阅读次数:
79
1、Flume简单介绍 Apache Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 2、Flume体系结构 ...
分类:
Web程序 时间:
2020-02-13 12:37:38
阅读次数:
78
第一章 Hue的安装 === 1、Hue的介绍 === HUE= Hadoop User Experience ? Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Py ...
分类:
其他好文 时间:
2020-02-11 09:56:19
阅读次数:
70
今天完成了实验六 安装了Flume,Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 2. 使用 Avro 数据 ...
分类:
其他好文 时间:
2020-02-05 23:06:48
阅读次数:
83
flume 1.1 Flume定义 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的 海量日志采集、聚合和传输的系统 。Flume基于流式架构,灵活简单。 大数据框架大致分为3类: 数据的采集和传输:flume 数据的存储:HDFS 数据的计算:MapReduce 1.2 应用场景 ...
分类:
Web程序 时间:
2020-01-23 12:37:38
阅读次数:
103
记录一下日志采集框架flume的相关内容,flume是由Cloudera开发,后面贡献给了Apache,是一个分布式的、稳定的,用于日志采集、汇聚和传输的系统,现在用的一般是1.x版本,老版本的因为用得少暂时不考虑。 基本概念 包括agent和event。 Agent 以下是数据流模型图,sourc ...
分类:
Web程序 时间:
2020-01-22 23:36:22
阅读次数:
130