码迷,mamicode.com
首页 >  
搜索关键字:spark shell    ( 34921个结果
09 spark连接mysql数据库
1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 3.启动 Mysql ...
分类:数据库   时间:2021-06-02 15:40:05    阅读次数:0
sshfindip Python版本,通过IP查找~/.ssh/config 主机配置项
#!/usr/bin/env python3 # -*- coding: utf-8 -*- #根据主机ip查找openSSH配置文件~/.ssh/config对应主机配置项 #自用sshfindip命令python实现版本 #原始sshfindip为shell脚本实现,参看:/v/bin/sshf ...
分类:编程语言   时间:2021-06-02 15:35:27    阅读次数:0
Spark任务提交和执行流程
本文转自:https://www.cnblogs.com/chhyan-dream/p/12013463.html 1、概述 为了更好地理解调度,我们先看一下集群模式的Spark程序运行架构图,如上所示: 2、Spark中的基本概念 1、Application:表示你的程序 2、Driver:表示m ...
分类:其他好文   时间:2021-06-02 15:22:12    阅读次数:0
09 spark连接mysql数据库
安装启动检查Mysql服务。 netstat -tunlp (3306) spark 连接mysql驱动程序。 –cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 启动 Mysql she ...
分类:数据库   时间:2021-06-02 15:02:56    阅读次数:0
linux shell判断输入的是哪个不可见字符,例如^X(Ctrl-X)
最近有一个需求,shell终端输入^X切换到另一个登陆界面。 如何判断输入的是^加上其他字母成为要解决的问题。 查了一堆资料,发现可以这样判断: #!/bin/sh echo Please input ^X: read a echo $a if [ $a = $'\030' ];then echo ...
分类:系统相关   时间:2021-06-02 14:05:04    阅读次数:0
DC LEARN NOTE V1
DC LEARN NOTE V1 参考博客 1.DC启动方式 三种启动方式 cmd describe design_vision 图形界面模式 dc_shell 命令行模式 batch mode 批处理模式 GUI mode CL mode source脚本加上-echo -vebose选项,会把执 ...
分类:其他好文   时间:2021-06-02 13:41:12    阅读次数:0
shell编程入门-适合小白
一、变量的使用 1. 变量命名 定义变量时,变量名不加美元符号($,PHP语言中变量需要),如: your_name="yikoulinux" 注意,变量名和等号之间不能有空格,这可能和你熟悉的所有编程语言都不一样。同时,变量名的命名须遵循如下规则: 命名只能使用英文字母,数字和下划线,首个字符不能 ...
分类:系统相关   时间:2021-06-02 13:36:03    阅读次数:0
添加用户参数
Linux系统中,shell脚本语言内设了用于接收参数的变量,变量之间可以使用空格间隔; $0:对应的是当前shell脚本的名称 $#:对应的是总共几个参数 $*:对应的是所有位置的参数值 $?:对应的是显示上一次命令执行返回值 $1、$2、$3......则分别对应着第N个位置的参数值 ...
分类:其他好文   时间:2021-06-02 13:34:47    阅读次数:0
编写shell脚本
shell脚本命令的工作方式有两种:交互式和批处理 交互式:用户输入一条命令就立即执行 批处理:由用户事先编写好一个完整的shell脚本,shell会一次性执行脚本中的诸多命令 shell脚本组成: 1、脚本声明:用来告诉系统使用哪一种shell命令解释器来执行该脚本 #!/bin/bash 2、注 ...
分类:系统相关   时间:2021-06-02 13:33:43    阅读次数:0
08 学生课程分数的Spark SQL分析
读学生课程分数文件chapter4-data01.txt,创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生? 总共开设了哪些课程? 每个学生选修了多少门课? 每门课程有多少个学生选? 每门课程大于95分的学生人数? Tom选修了几门课?每 ...
分类:数据库   时间:2021-06-02 12:16:19    阅读次数:0
34921条   上一页 1 ... 9 10 11 12 13 ... 3493 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!