# 先定义dataframe各列的数据类型 from pyspark.sql.types import *schema = StructType([ StructField("a", NullType(), True), StructField("b", AtomicType(), True), S ...
分类:
其他好文 时间:
2021-01-18 11:29:36
阅读次数:
0
1.Hadoop (1)安装配置 基础只需要配置core-site.xml和hdfs-site.xml就行。 参考: https://www.jianshu.com/p/aa8cfaa26790【这个教程的core-site.xml和hdfs-site.xml的内容弄反了,交换一下就行】 http: ...
数据算法 Hadoop Spark大数据处理技巧 ...
分类:
编程语言 时间:
2020-07-13 18:11:22
阅读次数:
80
首先,先安装jdk.我安装的是jdk14.下载界面如下所示: 接下来配置path,java_home两个环境变量即可。 接下来安装scala 我安装的scala是2.13.2版本。 接下来安装hadoop ...
分类:
其他好文 时间:
2020-06-13 23:05:23
阅读次数:
66
2 命题方向 每团队3-5人,请使用目前流行的大数据框架与分析挖掘工具,如:Hadoop、Spark、R、Flink、TensorFlow语言等,完成一个实用的软件系统,为行业、企业或个人生活提供有益的支持。选题方向可结合(但不限于)以下方面: (1)互联网数据或者传统信息管理系统数据的获取与分析: ...
分类:
其他好文 时间:
2020-05-21 19:02:38
阅读次数:
65
// hadoop+spark二次排序代码 package com.swust.hadoop; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spa ...
分类:
其他好文 时间:
2020-04-26 16:43:00
阅读次数:
64
WordCount是大数据学习最好的入门demo,今天就一起开发java版本的WordCount,然后提交到Spark3.0.0环境运行; 版本信息 OS: Window7 JAVA:1.8.0_181 Hadoop:3.2.1 Spark: 3.0.0-preview2-bin-hadoop3.2 ...
配置内核参数后重启生效# echo 'vm.swappiness=10'>> /etc/sysctl.conf 安装JDK8# rpm -ivh jdk-8u211-linux-x64.rpm # vi /etc/profileexport JAVA_HOME=/usr/java/jdk1.8.0_ ...
分类:
其他好文 时间:
2020-03-15 22:11:33
阅读次数:
76
Spark 是基于内存的计算, 低延迟. Apache 基金会3大分布式系统开源项目 Hadoop, Spark, Storm (数据流) Spark 特点: 处理快, 容易使用(Java,Python,Scala,R). 通用性(包括SQL,机器学习, 流失计算), 运行模式多样 Spark生态系 ...
分类:
其他好文 时间:
2020-02-29 17:28:30
阅读次数:
94
hadoop+spark集群搭建 本次实验环境:两台hadoop+两台spark组成集群 环境准备: 1. 两个主机实现ssh无密钥认证,包括本机与本机的免密钥认证: ssh-keygren :生成一对密钥 ssh-copy-id : 把公钥发给对方服务器 2. 集群间需实现时间同步:... ...
分类:
其他好文 时间:
2020-02-23 18:34:33
阅读次数:
90