承接上一篇文档《Spark案例练习-打包提交》 将spark应用运行在yarn集群上 官网地址:http://spark.apache.org/docs/2.0.2/running-on-yarn.html 1. 在spark-env.sh中配置HADOOP_CONF_DIR 或者 YARN_CON ...
分类:
其他好文 时间:
2020-05-19 01:07:50
阅读次数:
53
错误思想 举个列子,当我们想要比较 一个 类型为 RDD[(Long, (String, Int))] 的RDD,让它先按Long分组,然后按int的值进行倒序排序,最容易想到的思维就是先分组,然后把Iterable 转换为 list,然后sortby,但是这样却有一个致命的缺点,就是Iterabl ...
分类:
编程语言 时间:
2020-05-18 20:48:21
阅读次数:
83
1. 4种运行模式概述图 1)本地(local)模式,用于开发测试 2)Standalone是Spark自带的,如果一个集群是Standalone的话,那么就需要在多台机器上同时部署spark环境,只要修改一台机器配置,就要同步到所有的机器上去,比较麻烦,生产环境中不采取。 3) Yarn生成环境下 ...
分类:
其他好文 时间:
2020-05-18 18:12:35
阅读次数:
67
## java最新面试题2020# 一面 1. “Spark还有Ruby啊,会的挺多,既然你啥都会点咱们就不局限于Java了”2. 聊了聊美团实习的项目,聊到了Spark,然后说到了Spark相对于MapReduce的改进,然后3. “Spark熟吗”4. “那你这个需求怎么做的”5. “那咱们就从... ...
分类:
编程语言 时间:
2020-05-18 14:31:41
阅读次数:
162
distinct的底层使用reducebykey巧妙实现去重逻辑 //使用reduceByKey或者groupbykey的shuffle去重思想rdd.map(key=>(key,null)).reduceByKey((key,value)=>key) .map(_._1) ...
分类:
其他好文 时间:
2020-05-17 19:29:13
阅读次数:
147
Apache Spark Job 调优以提高性能(一) 假设你已经清楚了Spark 的 RDD 转换,Action 等内容。并且已经知道用web UI来理解为什么Job要花这么长时间时,Job、stage和task 也很清楚了。 如果不清楚可以看我的视频(。。。。) 在本文中,您将了解Spark程序 ...
分类:
其他好文 时间:
2020-05-17 17:50:13
阅读次数:
102
最近spark上机练习比较多,原先采用了虚拟机的方式做练习 第一机器性能比较差,本地体验不好 第二用vscode比较多,轻量好用又熟悉 所以周末抽时间把环境布到开发机上去 构建流程: 安装vscode 安装msys2/mingw等模拟shell环境,安装ssh相关组件 这个可以偷个懒直接装 git ...
分类:
其他好文 时间:
2020-05-16 18:39:35
阅读次数:
133
基础概念 Kafka最初是由Linkedin公司开发,是一个分布式、支持分区的、多副本的,基于zookeeper协调的分布式消息系统,可以实时的处理大量数据以满足各种需求场景:基于hadoop的批处理系统、低延迟的实时系统、storm/spark流式处理引擎、web/nginx日志、访问日志、消息服 ...
分类:
其他好文 时间:
2020-05-16 00:14:31
阅读次数:
73
第一步,需要在CDH上安装Spark 2,由于我的CDH是5.15.x,只能通过CDS的方式安装。官方指导在https://docs.cloudera.com/documentation/spark2/latest/topics/spark2.html。 总结下,需要手动下载cds文件上传到CM服务 ...
分类:
其他好文 时间:
2020-05-15 13:51:05
阅读次数:
77
出现问题的原因是在执行python xxx.py 时系统找不到相关资源 Windows中: 由于我的Windows中没有装Spark,所以直接安装了Python的第三方包,pycharm中直接引用就行了 pip install pyspark Linux中: 我的是Ubuntu18.04,自己在里面 ...
分类:
其他好文 时间:
2020-05-15 09:58:55
阅读次数:
408