码迷,mamicode.com
首页 >  
搜索关键字:hadoop、spark    ( 198个结果
pyspark dataframe save into hive
# 先定义dataframe各列的数据类型 from pyspark.sql.types import *schema = StructType([ StructField("a", NullType(), True), StructField("b", AtomicType(), True), S ...
分类:其他好文   时间:2021-01-18 11:29:36    阅读次数:0
Spark学习(二)win10部署Hadoop+Spark
1.Hadoop (1)安装配置 基础只需要配置core-site.xml和hdfs-site.xml就行。 参考: https://www.jianshu.com/p/aa8cfaa26790【这个教程的core-site.xml和hdfs-site.xml的内容弄反了,交换一下就行】 http: ...
分类:Windows程序   时间:2020-07-14 10:32:49    阅读次数:115
《数据算法 Hadoop Spark大数据处理技巧》
数据算法 Hadoop Spark大数据处理技巧 ...
分类:编程语言   时间:2020-07-13 18:11:22    阅读次数:80
安装spark
首先,先安装jdk.我安装的是jdk14.下载界面如下所示: 接下来配置path,java_home两个环境变量即可。 接下来安装scala 我安装的scala是2.13.2版本。 接下来安装hadoop ...
分类:其他好文   时间:2020-06-13 23:05:23    阅读次数:66
大数据命题方向
2 命题方向 每团队3-5人,请使用目前流行的大数据框架与分析挖掘工具,如:Hadoop、Spark、R、Flink、TensorFlow语言等,完成一个实用的软件系统,为行业、企业或个人生活提供有益的支持。选题方向可结合(但不限于)以下方面: (1)互联网数据或者传统信息管理系统数据的获取与分析: ...
分类:其他好文   时间:2020-05-21 19:02:38    阅读次数:65
每日一题 为了工作 2020 0426 第五十五题
// hadoop+spark二次排序代码 package com.swust.hadoop; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spa ...
分类:其他好文   时间:2020-04-26 16:43:00    阅读次数:64
Window7 开发 Spark 应用
WordCount是大数据学习最好的入门demo,今天就一起开发java版本的WordCount,然后提交到Spark3.0.0环境运行; 版本信息 OS: Window7 JAVA:1.8.0_181 Hadoop:3.2.1 Spark: 3.0.0-preview2-bin-hadoop3.2 ...
分类:Windows程序   时间:2020-03-31 19:06:35    阅读次数:96
centos7无cm安装hadoop+spark
配置内核参数后重启生效# echo 'vm.swappiness=10'>> /etc/sysctl.conf 安装JDK8# rpm -ivh jdk-8u211-linux-x64.rpm # vi /etc/profileexport JAVA_HOME=/usr/java/jdk1.8.0_ ...
分类:其他好文   时间:2020-03-15 22:11:33    阅读次数:76
大数据07 Spark
Spark 是基于内存的计算, 低延迟. Apache 基金会3大分布式系统开源项目 Hadoop, Spark, Storm (数据流) Spark 特点: 处理快, 容易使用(Java,Python,Scala,R). 通用性(包括SQL,机器学习, 流失计算), 运行模式多样 Spark生态系 ...
分类:其他好文   时间:2020-02-29 17:28:30    阅读次数:94
hadoop+spark集群搭建
hadoop+spark集群搭建 本次实验环境:两台hadoop+两台spark组成集群 环境准备: 1. 两个主机实现ssh无密钥认证,包括本机与本机的免密钥认证: ssh-keygren :生成一对密钥 ssh-copy-id : 把公钥发给对方服务器 2. 集群间需实现时间同步:... ...
分类:其他好文   时间:2020-02-23 18:34:33    阅读次数:90
198条   1 2 3 4 ... 20 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!