码迷,mamicode.com
首页 >  
搜索关键字:spark scala enumeration    ( 10781个结果
解决spark-submit的There is insufficient memory for the Java Runtime Environment to continue.(老顽固问题) failed; error='Cannot allocate memory' (errno=12)
Q:第一次提交wordcount案例,OK,一切正常。再次提交,出现下述错误。完整错误粘贴如下: 21/01/27 14:55:48 INFO spark.SecurityManager: Changing modify acls groups to: 21/01/27 14:55:48 INFO ...
分类:编程语言   时间:2021-01-28 11:56:52    阅读次数:0
spark 从数据库中读取数据
spark 从数据库中读取数据的几种方式,以Mysql 为例 创建spark val spark = SparkSession.builer().appName("用户标签").master("local[*]").getOrCreate() val url = "jdbc:mysql://数据库地 ...
分类:数据库   时间:2021-01-27 13:56:39    阅读次数:0
spark-------------RDD 转换算子-----value类型(一)
引言 RDD 根据数据处理方式的不同将算子整体上分为 Value 类型、双 Value 类型和 Key-Value类型,本文主要讲一些Value 类型 正文 资源路径和资源内容 map ###函数签名:def map[U: ClassTag](f: T ? U): RDD[U] ###函数说明:将处 ...
分类:其他好文   时间:2021-01-27 12:50:51    阅读次数:0
Spark实战(三)本地连接远程Spark(Python环境)
一、Python环境准备 远程服务器上Python版本要与本地想匹配,这里本地使用Anaconda来进行安装,远程服务器之间安装。 wget --no-check-certificate https://www.python.org/ftp/python/3.6.7/Python-3.6.7.tgz ...
分类:编程语言   时间:2021-01-25 11:30:39    阅读次数:0
Spark面试常见问题(一)--RDD基础
1 RDD基础知识 1.1 Spark的RDD五大特性 1.1.1 A list of partitions RDD是一个由多个partition(某个节点里的某一片连续的数据)组成的的List;将数据加载为RDD时,一般一个hdfs里的block会加载为一个partition。 对于RDD来说,每 ...
分类:其他好文   时间:2021-01-25 11:30:09    阅读次数:0
Trino总结
文章目录 1.Trino与Spark SQL的区别分析 2.Trino与Spark SQL解析过程对比 3.Trino基本概念 4.Trino架构 5.Trino SQL执行流程 6.Trino Task执行流程 相关参考: 1.Trino与Spark SQL的区别分析 2.Trino与Spark ...
分类:其他好文   时间:2021-01-22 12:05:01    阅读次数:0
Hive整合Hbase
HBase 虽然可以存储数亿或数十亿行数据,但是对于数据分析来说,不太友好,只提供了简单的基于 Key 值的快速查询能力,没法进行大量的条件查询。现有hbase的查询工具有很多如:Hive,Tez,Impala,Shark/Spark,Phoenix等。今天主要说Hive,Hive方便地提供了Hiv ...
分类:其他好文   时间:2021-01-21 10:54:30    阅读次数:0
Vert.x 核心包
Vert.x是一个事件驱动的JVM上的框架,可以帮助我们构建现代、灵活、可扩展的程序。Vert.x有多种语言的版本,可以用在Java、Kotlin、Scala、Groovy、Ruby等语言上。当然现在讨论的是如何在Java上使用Vert.x。 Vert.x是一个比较大的框架,包含了各个方面的功能。所 ...
分类:其他好文   时间:2021-01-19 12:26:36    阅读次数:0
Java进阶专题(二十一) 消息中间件架构体系(3)-- Kafka研究
前言 Kafka 是一款分布式消息发布和订阅系统,具有高性能、高吞吐量的特点而被广泛应用与大数据传输场景。它是由 LinkedIn 公司开发,使用 Scala 语言编写,之后成为 Apache 基金会的一个顶级项目。kafka 提供了类似 JMS 的特性,但是在设计和实现上是完全不同的,而且他也不是 ...
分类:编程语言   时间:2021-01-19 11:48:43    阅读次数:0
Spark学习--Structured Streaming
Structured Streaming Structured Streaming 是 Spark Streaming 的进化版 Spark 编程模型的进化过程 总结 RDD 的优点 面向对象的操作方式 可以处理任何类型的数据 RDD 的缺点 运行速度比较慢, 执行过程没有优化 API 比较僵硬, ...
分类:其他好文   时间:2021-01-18 11:40:47    阅读次数:0
10781条   上一页 1 ... 13 14 15 16 17 ... 1079 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!