【确保服务器集群安装和配置已经完成！】前言请根据读者的自身情况，进行相应随机应变。我的三台CentOS7服务器：主机：master（192.168.56.110）从机：slave0（192.168.56.111）从机：slave1（192.168.56.112）每一个节点的安装与配置是相同的，在实际 ...
分类：
其他好文 时间：
2020-04-29 01:28:44
阅读次数：
138
Hadoop的下载和安装 一：Hadoop的简介 Apache的Hadoop是一个开源的、可靠的、可扩展的系统架构，可利用分布式架构来存储海量数据，以及实现分布式的计算。 Hadoop许使用简单的编程模型在计算机集群中对大型数据集进行分布式处理。可以从单个服务器扩展到数千台机器， 每个机器都提供本地 ...
分类：
其他好文 时间：
2020-04-29 01:25:12
阅读次数：
151
一、Scala安装 1.1下载并解压Scala 1.2 将Scala添加到环境变量 1.3激活配置 二、安装Spark 2.1下载并解压Spark 2.2 修改文件夹名字 2.3配置环境变量 三、配置Spark 需要修改的配置文件有两个 Spark env.sh, spark defaults.co ...
分类：
其他好文 时间：
2020-04-28 20:13:43
阅读次数：
57
第一种方式： private def singleDataSaveMysql(sql: String) = { val dataFrame2: DataFrame = ss.sql(sql) val resultRDD = df2rdd(dataFrame2) val value: RDD[Map[ ...
分类：
数据库 时间：
2020-04-28 17:18:05
阅读次数：
50
一.hadoop版本概述 不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）,Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）, Hortonwo ...
分类：
其他好文 时间：
2020-04-28 17:00:18
阅读次数：
557
本文将分两部分来介绍如何在IntelliJ IDEA中运行Java/Scala/Spark程序： 基本概念介绍 在IntelliJ IDEA中创建和运行java/scala/spark程序 基本概念介绍 IntelliJ IDEA 本文使用版本为： ideaIC 2020.1 IDEA 全称 Int ...
分类：
编程语言 时间：
2020-04-28 14:59:06
阅读次数：
59
一、Liunx环境准备 VMware+CentOS 7.6， 1.1下面是VMware和Centos的资源地址，也可以自己从网上下载相应的版本 百度网盘地址：链接：https://pan.baidu.com/s/1m_qvasgybY5rfJNHNjkqpw 提取码：9xka 1.2安装Linux ...
分类：
其他好文 时间：
2020-04-28 12:42:34
阅读次数：
85
Spark小实例——求文件中的最大值和最小值（IDEA实现）
分类：
其他好文 时间：
2020-04-27 22:38:23
阅读次数：
162
//使用MapReduce框架完成二次排序 // 主要原理使用组比较器完成排序再规约 // 环境 由于IDEA不会本地提交MR任务转到eclipse //代码如下 package com.swust.mapreduce; import java.io.IOException; import org. ...
分类：
其他好文 时间：
2020-04-27 19:34:20
阅读次数：
80
Hive是什么？ 个人理解是把存储在hdfs上的数据映射位一张数据库表，提供类sql（HQL）语句的查询，方便数据的分析，查询。另外一点就是自动的把HQL转化为MapRudecu、Tez、Spark执行。 Hive的架构 用户接口：可以是hive shell，jdbc（java 访问hive），we ...
分类：
其他好文 时间：
2020-04-27 15:21:33
阅读次数：
59
