码迷,mamicode.com
首页 >  
搜索关键字:spark on yarn    ( 8643个结果
Hadoop目录
01.安装VMware,加载centos镜像软件。配置主机、VMware、Windows的IP地址。 02.hadoop中目录介绍:bin目录 hdfs 、mapred、 yarn 命令 etc目录包含hdfs 、mapred、 yarn 相关的配置文件 sbin 目录与集群相关的命令 share目 ...
分类:其他好文   时间:2021-04-29 11:57:44    阅读次数:0
HDFS的hadoop和hdfs命令详解
原文链接:https://www.cnblogs.com/zsql/ 本篇主要对hadoop命令和hdfs命令进行阐述,yarn命令会在之后的文章中体现 hadoop fs命令可以用于其他文件系统,不止是hdfs文件系统内,也就是说该命令的使用范围更广可以用于HDFS、Local FS等不同的文件系 ...
分类:其他好文   时间:2021-04-26 13:47:48    阅读次数:0
计算Spark StorageMemory Heap内存
#计算Spark StorageMemory Heap内存 tag: Spark, Spark Memory, Spark Storage Memory 2021-04-23 21:26:25 星期五 version: spark-2.4.5 Executor 进程 org.apache.spark ...
分类:其他好文   时间:2021-04-24 13:38:45    阅读次数:0
本地调试spark
1、改成本地模式 . val conf = new SparkConf().setAppName("ScalaWordCount").setMaster("local") 2、编写入参 传参 ...
分类:其他好文   时间:2021-04-24 13:30:06    阅读次数:0
07 Spark RDD编程 综合实例 英文词频统计
1. 用Pyspark自主实现词频统计过程。 >>> s = txt.lower().split()>>> dd = {}>>> for word in s:... if word not in dd:... dd[word] = 1... else:... dd[word] = dic[word] ...
分类:其他好文   时间:2021-04-23 12:19:08    阅读次数:0
07 Spark RDD编程 综合实例 英文词频统计
>>> s = txt.lower().split()>>> dd = {}>>> for word in s:... if word not in dd:... dd[word] = 1... else:... dd[word] = dic[word] + 1...>>> ss = sorted( ...
分类:其他好文   时间:2021-04-23 12:18:32    阅读次数:0
07 Spark RDD编程 综合实例 英文词频统计
1. 用Pyspark自主实现词频统计过程。 >>> s = txt.lower().split()>>> dd = {}>>> for word in s:... if word not in dd:... dd[word] = 1... else:... dd[word] = dic[word] ...
分类:其他好文   时间:2021-04-23 12:10:50    阅读次数:0
MAC-使用yarn安装element-plus安装与使用
一、安装element plus:$ yarn add element-plus --dev 二、导入、引用: 三、首次运行时:$ yarn install 四、启动项目:$ yarn dev ...
分类:系统相关   时间:2021-04-21 11:52:31    阅读次数:0
vue图片懒加载 — vue-lazyload
前言:图片是网站优化的一个重点,图片懒加载是其中比较好用的一个方法。jquery也有很多图片懒加载的插件,今天看了一下vue的图片懒加载插件 vue-lazyload。 1. 安装:cnpm install vue-lazyload --save-dev(当然可以用npm或者yarn哦) impor ...
分类:其他好文   时间:2021-04-21 11:47:21    阅读次数:0
Spark OneHot编码原理
python - How to interpret results of Spark OneHotEncoder - Stack Overflow ...
分类:其他好文   时间:2021-04-20 15:16:33    阅读次数:0
8643条   上一页 1 ... 7 8 9 10 11 ... 865 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!