spark sql 的function中有一个 instr 可以判断其中一列是否是另外一列的子字符 新增字段 判断一个字段是否包含另一个字段的字符串，如果包含值为1否则是0 Df.withColumn("newColumn",when(instr(col("aColumn"),col("bColum ...
分类：
数据库 时间：
2020-10-27 10:54:18
阅读次数：
55
离线， 截获请求 /serviceworker -/index.html -/index.js -/sw.js index.html == <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewp ...
分类：
其他好文 时间：
2020-10-26 11:17:19
阅读次数：
19
原帖：https://blog.csdn.net/Damonhaus/article/details/76572971 问题：协同过滤 ALS算法。在测试过程中遇到了内存溢出的错误 解决办法1：降低迭代次数，20次 -> 10次 val model = new ALS().setRank(10).s ...
分类：
其他好文 时间：
2020-10-24 09:45:55
阅读次数：
24
1 worker_processes 2; 2 events { 3 worker_connections 1024; 4 } 5 http { 6 include mime.types; 7 default_type application/octet-stream; 8 #upstream配置被 ...
分类：
其他好文 时间：
2020-10-22 23:03:13
阅读次数：
20
方式一：multiprocessing.Process def worker(procnum, return_dict): '''worker function''' print str(procnum) + ' represent!' return_dict[procnum] = procnum ...
分类：
系统相关 时间：
2020-10-22 22:46:37
阅读次数：
30
无论对Spark集群，还是Hadoop集群等大数据相关的集群进行调优，对linux系统层面的调优都是必不可少的，这里主要介绍3种常用的调优和linux常见面试题 ...
分类：
系统相关 时间：
2020-10-20 16:23:11
阅读次数：
36
遇到一个需要多if-else判断执行的代码,采用策略模式进行优化原代码:Stringtype=json.getString("type");Stringdata=json.getString("data");if(type.equals("brand")){brandApplication.handler(data);}elseif(ty
分类：
其他好文 时间：
2020-10-19 22:54:42
阅读次数：
24
一、VectorAssembler package com.home.spark.ml import org.apache.spark.SparkConf import org.apache.spark.ml.feature.VectorAssembler import org.apache.spa ...
分类：
其他好文 时间：
2020-10-18 09:57:35
阅读次数：
15
猫场面试题第 1 套 以下为我为大家整理的猫场面试题第一套，均为笔者自己参加面试或者一些读者分享给我的题目，保证真实和准确性。 1 框架部分 1.1 Spark 提交 job 流程 所谓提交流程，其实就是我们开发人员根据需求写的应用程序通过 Spark 客户端提交给 Spark 运行环境执行计算的流 ...
分类：
其他好文 时间：
2020-10-13 17:19:39
阅读次数：
26
