码迷,mamicode.com
首页 >  
搜索关键字:spark streaming    ( 7556个结果
Spark常见算子
PX: 这些都是在scala环境下的 , 非Java Spark map 转化 1行转1行 , 但可以比如拆分 , 截取 ...
分类:其他好文   时间:2020-05-22 21:35:06    阅读次数:51
Spark 获取单独分区的数据
1.上代码 我是1-10分为3个分区 , 并取出下标号为0 的分区的数据 , 并打印 ,要想获得自己想要的分区 , 执行 这里返回的是新 RDD , 并且支持 map等操作 , 但是你只能操作一个分区了 . 在某些内存不够用的情况下 , 可以采用这种分阶段操作的方法. .mapPartitionsW ...
分类:其他好文   时间:2020-05-22 21:16:34    阅读次数:92
Spark 安装
架构 Driver Program:每个 Spark 应用的主程序 Spark Context:在 Driver 里面构建,用于协调、调度在各个节点运行的进程 Cluster Manager:管理节点,分配资源(可以是 Spark standalone、Mesos、Yarn、K8S) Worker ...
分类:其他好文   时间:2020-05-22 09:37:29    阅读次数:62
java.lang.IllegalArgumentException: Required executor memory (1024), overhead (384 MB), and PySpark
ERROR spark.SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: Required executor memory (1024), overhead (384 MB), and ...
分类:编程语言   时间:2020-05-21 21:20:50    阅读次数:191
Spark Sql之Catalog
基于版本:Spark 2.2.0 把一些概念搞清楚,Spark轮廓就清晰了。 什么是Catalog,中文翻译目录,那啥叫目录呢?下面是百度百科的解释: `目录,是指书籍正文前所载的目次,是揭示和报道图书的工具。目录是记录图书的书名、著者、出版与收藏等情况,按照一定的次序编排而成,为反映馆藏、指导阅读 ...
分类:数据库   时间:2020-05-21 19:20:07    阅读次数:95
大数据命题方向
2 命题方向 每团队3-5人,请使用目前流行的大数据框架与分析挖掘工具,如:Hadoop、Spark、R、Flink、TensorFlow语言等,完成一个实用的软件系统,为行业、企业或个人生活提供有益的支持。选题方向可结合(但不限于)以下方面: (1)互联网数据或者传统信息管理系统数据的获取与分析: ...
分类:其他好文   时间:2020-05-21 19:02:38    阅读次数:65
spark dataFrame api操作
api代码示例入下 object DataFrameCase { def main(args: Array[String]): Unit = { val sparksession = SparkSession.builder().appName("DataFrameCase").master("lo ...
分类:Windows程序   时间:2020-05-19 23:10:39    阅读次数:86
spark 任务提交参数
网上看到的关于Executor,Cores和Memory的分配相关博客,先记录下来,再汇总。 <1>第一篇 Spark处理多少数据是否需要多少内存 Spark处理1Tb数据不需要1Tb的内存。 具体需要多少内存是根据executor的core数量和每次读取数据集的block大小决定的。以读取hdfs ...
分类:其他好文   时间:2020-05-19 16:47:03    阅读次数:82
Spark内核源码解析十四:checkpoint原理剖析
Checkpoint,是Spark提供的一个比较高级的功能。有的时候啊,比如说,我们的Spark应用程序,特别的复杂,然后呢,从初始的RDD开始,到最后整个应用程序完成,有非常多的步骤,比如超过20个transformation操作。而且呢,整个应用运行的时间也特别长,比如通常要运行1~5个小时。在 ...
分类:其他好文   时间:2020-05-19 09:12:08    阅读次数:88
一次使用spark进行离线计算的实践
经过一个多月来的研究实践,在亲友团的帮助下,我的第一个spark程序终于上线了,现在总结下实践历程。
分类:其他好文   时间:2020-05-19 01:16:57    阅读次数:64
7556条   上一页 1 ... 34 35 36 37 38 ... 756 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!