一.集群规划 Name Master Slave1 Slave2 IP 192.168.2.98 192.168.2.99 192.168.2.100 Jdk版本 1.8.0.171 1.8.0.171 1.8.0.171 Zookeeper版本 3.4.10 3.4.10 3.4.10 Hadoo ...
分类：
其他好文 时间：
2020-06-26 10:33:25
阅读次数：
44
一、安装 一、课前准备 1. 安装好hadoop2.X版本的三节点集群，并配置好JAVA_HOME和HADOOP_HOME两个环境变量。 二、课堂主题 讲解hive1.2.2版本的三种常见安装部署模式 三、课堂目标 1. 熟练搭建内嵌式hive环境 2. 熟练搭建本地式hive环境 3. 熟练搭建远 ...
分类：
其他好文 时间：
2020-06-26 01:33:04
阅读次数：
115
?所谓大数据（Big Data），就是需要处理的数据量非常巨大，已经达到了 TB、PB 甚至 EB、ZB 级别，需要成千上万块硬盘才能存储。传统的技术手段在大数据面前不堪一击，只能探索一套新的解决方案。 这套《大数据技术与应用教程》对大数据处理过程中涉及的各种关键技术做了详细的介绍，包括大数据思维、 ...
分类：
其他好文 时间：
2020-06-26 01:29:48
阅读次数：
95
Yarn资源调度系统 一、课前准备 1. 三个节点的hadoop集群 二、课堂主题 1. yarn架构、核心组件 2. yarn应用提交过程 3. yarn的调度策略 4. yarn的优化 三、课堂目标 1. 数据yarn资源的任务调度原理 2. 熟练对yarn集群进行维护 3. 了解如何使用YAR ...
分类：
其他好文 时间：
2020-06-25 23:50:34
阅读次数：
115
一、安装Spark 1.1 下载并解压 官方下载地址：http://spark.apache.org/downloads.html ，选择 Spark 版本和对应的 Hadoop 版本后再下载： 解压安装包： # tar -zxvf spark-2.2.3-bin-hadoop2.6.tgz 1.2 ...
分类：
其他好文 时间：
2020-06-25 21:47:14
阅读次数：
74
Hive、Spark SQL和Impala三种分布式SQL查询引擎都是SQL-on-Hadoop解决方案，但又各有特点。前面已经讨论了Hive和Impala，本节先介绍一下SparkSQL，然后从功能、架构、使用场景几个角度比较这三款产品的异同，最后附上分别由cloudera公司和SAS公司出示的关 ...
分类：
数据库 时间：
2020-06-25 21:29:31
阅读次数：
581
一、RDD简介 RDD 全称为 Resilient Distributed Datasets，是 Spark 最基本的数据抽象，它是只读的、分区记录的集合，支持并行操作，可以由外部数据集或其他 RDD 转换而来，它具有以下特性： 一个 RDD 由一个或者多个分区（Partitions）组成。对于 R ...
分类：
其他好文 时间：
2020-06-25 21:27:05
阅读次数：
66
1.NFV? 2.HCI的NFV? 3.分布式虚拟交换机？ 4.VXLAN? 5.微分段？分布式防火墙？ 6.虚拟（边界）路由器？ 7.云计算网络配置？ 8.SDN?三大特点？体系结构？流量走向？ 9.OpenFlow流表结构？ 10.网络安全攻防常见攻击技术？常见防御技术？CTF?安全蓝军？护网行 ...
分类：
其他好文 时间：
2020-06-25 21:17:41
阅读次数：
78
package com.hadoop.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import ...
分类：
Web程序 时间：
2020-06-25 17:58:43
阅读次数：
54
package com.hadoop.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import jav ...
分类：
其他好文 时间：
2020-06-25 17:46:58
阅读次数：
39
