码迷,mamicode.com
首页 >  
搜索关键字:一键部署 spark    ( 7234个结果
隐式装换
1 package com.ds 2 3 import org.apache.spark.sql.{Dataset, SparkSession} 4 5 object DataSet { 6 7 def main(args: Array[String]): Unit = { 8 val spark: ...
分类:其他好文   时间:2020-05-02 12:10:05    阅读次数:46
spark_sql_DataFromMysql_InferringSchema_SparkSqlSchema_SparkSqlToMysql_SparkStreaming_Flume_Poll
1 package com.spark_sql 2 3 import java.util.Properties 4 import org.apache.spark.sql.{DataFrame, SparkSession} 5 6 object DataFromMysql { 7 def main( ...
分类:数据库   时间:2020-05-02 11:31:58    阅读次数:63
Spark Streaming
流计算概述 流数据是指在时间分布上和数量上无线的一系列动态数据集合。数据记录是流数据的最小组成单元。 流数据特征 数据快速持续到达,无穷无尽 数据来源众多,格式复杂 数据量大,不关心存储 注重数据的整体价值,不过分关注个别数据 数据顺序颠倒或者不完整 流计算 流数据被处理后,一部分进入数据库成为静态 ...
分类:其他好文   时间:2020-05-01 17:08:46    阅读次数:96
spark dataFrame 相关知识点
相关函数: 操作DataFrame 1.data.printSchema:打印出每一列的名称和类型 2.data.show(numRows:Int):输出data 3.Data.head(n:int).foreach(println): 这个函数也需要输入一个参数标明需要采样的行数,而且这个函数返回 ...
分类:其他好文   时间:2020-04-29 15:01:03    阅读次数:60
Spark Streaming实时计算
spark批处理模式: receiver模式:接收数据流,负责数据的存储维护,缺点:数据维护复杂(可靠性,数据积压等),占用计算资源(core,memory被挤占) direct模式:数据源由三方组件完成,spark只负责数据拉取计算,充分利用资源计算 window计算: def windowApi ...
分类:其他好文   时间:2020-04-29 14:30:19    阅读次数:68
10 Kubernetes一键部署利器:kubeadm 参考极客时间学习
Kubernetes 一键部署利器之 kubeadm 通过前面几篇文章的内容,我其实阐述了这样一个思想:要真正发挥容器技术的实力,你就不能仅仅局限于对 Linux 容器本身的钻研和使用。 这些知识更适合作为你的技术储备,以便在需要的时候可以帮你更快的定位问题,并解决问题。 而更深入的学习容器技术的关 ...
分类:Web程序   时间:2020-04-29 14:19:10    阅读次数:77
Spark WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.
问题 执行 spark-submit --master local模式时产生warn并达重试数限制失败,导致spark local不能启动: ... WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port ...
分类:其他好文   时间:2020-04-29 12:46:42    阅读次数:126
数据源Data Source--通用的数据加载/保存功能
Spark SQL支持通过DataFrame接口在各种数据源上进行操作。DataFrame可以使用关系变换进行操作,也可以用来创建临时视图。将DataFrame注册为临时视图允许您对其数据运行SQL查询。本节介绍使用Spark Data Sources加载和保存数据的一般方法,然后介绍可用于内置数据 ...
分类:其他好文   时间:2020-04-29 10:49:26    阅读次数:64
四、Hadoop搭建Spark
一、Scala安装 1.1下载并解压Scala 1.2 将Scala添加到环境变量 1.3激活配置 二、安装Spark 2.1下载并解压Spark 2.2 修改文件夹名字 2.3配置环境变量 三、配置Spark 需要修改的配置文件有两个 Spark env.sh, spark defaults.co ...
分类:其他好文   时间:2020-04-28 20:13:43    阅读次数:57
spark写入mysql
第一种方式: private def singleDataSaveMysql(sql: String) = { val dataFrame2: DataFrame = ss.sql(sql) val resultRDD = df2rdd(dataFrame2) val value: RDD[Map[ ...
分类:数据库   时间:2020-04-28 17:18:05    阅读次数:50
7234条   上一页 1 ... 40 41 42 43 44 ... 724 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!