码迷,mamicode.com
首页 >  
搜索关键字:spark history    ( 9960个结果
2020-10-9 linuxprobe
1.ifconfig查看网卡信息,ens160(redhat5/6为eth0,7版本为eno167),能看到地址信息/MAC/RX/TX2.uname-a主机名/内核版本/系统打包时间3.uptime可以查看到主机负载信息4.free查看内存使用情况(swap使用情况)free-m:free-h5.who谁在使用6.last系统登录信息,有无恶意登陆7.history历史命令,!39执行命令8.s
分类:系统相关   时间:2020-10-10 17:52:33    阅读次数:37
linux学习之三
ifconfig:获取网卡信息uname-a查看版本信息uptime查看系统负载free-h查看内存使用情况who查看当前登录信息last查看本机登录记录history历史命令查询pwd显示当前目录cd切换路径ls-al查看文件cat查看小文件more查看大文件head-n查看开头X行tail-n查看末尾行tr替换wc-l显示行数-w显示单词数-c显示字节数stat文件具体存储信息cut按列提取d
分类:系统相关   时间:2020-10-10 17:17:58    阅读次数:26
spark之 连接SQL和HIVE
一、连接SQL package com.njbdqn.linkSql import java.util.Properties import org.apache.spark.sql.SparkSession import org.apache.spark.sql._ object LinkSql { ...
分类:数据库   时间:2020-10-06 20:52:59    阅读次数:35
SparkStreaming+Kafka
Receiver Direct offset注意点 ...
分类:其他好文   时间:2020-10-06 20:46:36    阅读次数:26
Docker 命令-镜像命令查看镜像构建历史,发布镜像到阿里云(6)
查看镜像构建历史dockerhistory2b2cc1f48aed发布镜像到阿里云图片来自互联网dockercommit-astonehu-m"newcentoswithvimandifconfigfromcentos"0d0cb5f308acmycentos:1.4sudodockerlogin--username=stonehu119registry.cn-hangzhou
分类:其他好文   时间:2020-10-05 21:33:35    阅读次数:31
PySpark基于Python的Spark企业级大数据分析,以实际数据分析为驱动讲解
PySpark基于Python的Spark企业级大数据分析,以实际数据分析为驱动讲解 ...
分类:编程语言   时间:2020-09-18 00:55:02    阅读次数:44
IDEA通过Git回滚到项目的某个版本(提交节点)
在重新拉下代码之后,首页出现问题,不能进行相关测试了。遇到问题的下一步就是去解决当下问题,便有了以下的解决方案: 1、依次选择 VCS--Git--Show History,则可以展示到项目提交的历史版本; 2、历史提交的版本记录如下,这里我们假设要回滚到 “审批流程修改”的 版本,选中“审批流程修 ...
分类:其他好文   时间:2020-09-17 20:27:11    阅读次数:28
Spark的Shuffle和MR的Shuffle异同
介绍 不论MapReduce还是RDD,shuffle都是非常重要的一环,也是影响整个程序执行效率的主要环节,但是在这两个编程模型里面shuffle却有很大的异同。 shuffle的目的是对数据进行混洗,将各个节点的同一类数据汇集到某一个节点进行计算,为了就是分布式计算的可扩展性。 可能大家多MR的 ...
分类:其他好文   时间:2020-09-17 19:31:45    阅读次数:30
Spark ML之高级数据源
一.图像数据源 图像数据源用于从目录加载图像文件,它可以通过ImageIO Java库将压缩图像(jpeg,png等)加载为原始图像表示形式。加载的DataFrame具有一StructType列:“ image”,其中包含存储为图像架构的图像数据。该image列的架构为: origin :(Stri ...
分类:其他好文   时间:2020-09-17 17:38:02    阅读次数:52
JavaScript(三)
History对象的方法 back:加载上一个URL forward:加载下一个URL go:前进至指定的URL( go(1)等同于forward go(-1)等同于back() ) Location对象的属性和方法: href:获取当前浏览器的URL reload():重载当前URL <!DOCT ...
分类:编程语言   时间:2020-09-17 17:03:42    阅读次数:40
9960条   上一页 1 ... 22 23 24 25 26 ... 996 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!