发现spark集群重启突然异常无法正常提供服务，两个master都没有人正常起来提供服务,不是防火墙规则导致的，不是因为更改端口导致的1.异常情况：spark-master报错：20/07/1616:52:35WARNClientCnxn:Session0x57355eb34540d0cforserverhadoop5/"ip":7072,unexpectederror,clo
分类：
数据库 时间：
2020-07-17 01:17:59
阅读次数：
135
--语句新建一个定时任务 declare job number;BEGIN DBMS_JOB.SUBMIT( JOB => job, /*自动生成JOB_ID*/ WHAT => 'p_monitor_tablespace;', /*需要执行的存储过程名称或SQL语句*/ NEXT_DATE => ...
分类：
数据库 时间：
2020-07-16 21:24:07
阅读次数：
107
The Hamming distance between two integers is the number of positions at which the corresponding bits are different. Now your job is to find the total ...
分类：
其他好文 时间：
2020-07-16 12:06:09
阅读次数：
75
什么是Shuffle 在RDD中，将每个相同key的value聚合起来。相同key的value可能在不同partition，也可能在不同节点。因此shuffle操作会影响多个节点。 常见的shuffle操作有：groupByKey(),reduceBykey()等。 Shuffle Write和Re ...
分类：
其他好文 时间：
2020-07-16 10:12:36
阅读次数：
63
上一篇安装了 xxl-job的服务端， https://www.cnblogs.com/a393060727/p/13306981.html 接下来是客户端安装。 还是照着官网来。 在我们下载的git代码中，有个xxl-job-executor-samples子工程， 这个子工程就是当前支持的各种语 ...
分类：
编程语言 时间：
2020-07-15 23:15:28
阅读次数：
74
Hadoop原生的计算框架MapReduce，简单概括一下：进程量级很重，启动很慢，但能承载的数据量很大，效率相较于Spark微批处理和Flink实时来讲很慢，Shuffle任何一个写MR同学都必须掌握的东西，说难不难，说简单也不简单 MapReduce程序的五个阶段： input map shuf ...
分类：
其他好文 时间：
2020-07-15 15:53:30
阅读次数：
58
1.Hadoop （1）安装配置 基础只需要配置core-site.xml和hdfs-site.xml就行。 参考： https://www.jianshu.com/p/aa8cfaa26790【这个教程的core-site.xml和hdfs-site.xml的内容弄反了，交换一下就行】 http: ...
今天给大家分享第四范式在推荐系统大规模特征工程与Spark基于LLVM优化方面的实践，主要包括以下四个主题。大规模推荐系统特征工程介绍SparkSQL与FESQL架构设计基于LLVM的Spark性能优化推荐系统与Spark优化总结大规模推荐系统特征工程介绍推荐系统在新闻推荐、搜索引擎、广告投放以及最新很火的短视频App中都有非常广阔的应用，可以说绝大部分互联网企业和传统企业都可以通过推荐系统来提升
分类：
数据库 时间：
2020-07-14 09:27:20
阅读次数：
72
Spark on K8S 的几种模式 Standalone：在 K8S 启动一个长期运行的集群，所有 Job 都通过 spark-submit 向这个集群提交 Kubernetes Native：通过 spark-submit 直接向 K8S 的 API Server 提交，申请到资源后启动 Pod ...
分类：
Web程序 时间：
2020-07-14 09:25:00
阅读次数：
89
首先创建好项目工程，如下图：完善pom.xml文件，具体为：（依据自己的spark版本做修改）<dependencies><dependency><groupId>org.scala-lang</groupId><artifactId>scala-library</artifactId><version>2.11.
分类：
其他好文 时间：
2020-07-14 09:21:08
阅读次数：
78
