spark sql 的function中有一个 instr 可以判断其中一列是否是另外一列的子字符 新增字段 判断一个字段是否包含另一个字段的字符串，如果包含值为1否则是0 Df.withColumn("newColumn",when(instr(col("aColumn"),col("bColum ...
分类：
数据库 时间：
2020-10-27 10:54:18
阅读次数：
55
部署Prometheus结合Grafana数据展示
分类：
其他好文 时间：
2020-10-24 11:44:28
阅读次数：
31
原帖：https://blog.csdn.net/Damonhaus/article/details/76572971 问题：协同过滤 ALS算法。在测试过程中遇到了内存溢出的错误 解决办法1：降低迭代次数，20次 -> 10次 val model = new ALS().setRank(10).s ...
分类：
其他好文 时间：
2020-10-24 09:45:55
阅读次数：
24
无论对Spark集群，还是Hadoop集群等大数据相关的集群进行调优，对linux系统层面的调优都是必不可少的，这里主要介绍3种常用的调优和linux常见面试题 ...
分类：
系统相关 时间：
2020-10-20 16:23:11
阅读次数：
36
年薪200w+的大数据架构师领衔直播，以大数据实时数仓项目为中心，延展4大企业级项目+5大AI应用+6大热门专题，助你开启大数据高薪魔盒。课程优势及特色：1、整体架构：仅关注数仓内部细节-->兼顾数据采集、分布式存储、流计算、建模与实时构建、可视化开发端到端的整体解决方案2、数据采集：人肉管理schema-->统一数据采集解决方案：自动系统化管理schema3、流处理：大量流处理job
分类：
其他好文 时间：
2020-10-19 22:51:25
阅读次数：
22
年薪200w+的大数据架构师领衔直播，以大数据实时数仓项目为中心，延展4大企业级项目+5大AI应用+6大热门专题，助你开启大数据高薪魔盒。课程优势及特色：1、整体架构：仅关注数仓内部细节-->兼顾数据采集、分布式存储、流计算、建模与实时构建、可视化开发端到端的整体解决方案2、数据采集：人肉管理schema-->统一数据采集解决方案：自动系统化管理schema3、流处理：大量流处理job
分类：
其他好文 时间：
2020-10-19 22:51:11
阅读次数：
21
一、VectorAssembler package com.home.spark.ml import org.apache.spark.SparkConf import org.apache.spark.ml.feature.VectorAssembler import org.apache.spa ...
分类：
其他好文 时间：
2020-10-18 09:57:35
阅读次数：
15
猫场面试题第 1 套 以下为我为大家整理的猫场面试题第一套，均为笔者自己参加面试或者一些读者分享给我的题目，保证真实和准确性。 1 框架部分 1.1 Spark 提交 job 流程 所谓提交流程，其实就是我们开发人员根据需求写的应用程序通过 Spark 客户端提交给 Spark 运行环境执行计算的流 ...
分类：
其他好文 时间：
2020-10-13 17:19:39
阅读次数：
26
算法基础 数据分析 数学基础 在进行算法建模时，深入了解数据情况，做各类探索性分析，统计建模等工作非常重要，这方面对一些数学基础知识有一定的要求，例如概率论，统计学等。这方面除了经典的数学教材，也可以参考更程序员向的《统计思维》，《贝叶斯方法》，《程序员的数学2》等书籍。 自我考核：理解实际项目中的 ...
分类：
编程语言 时间：
2020-10-10 17:55:27
阅读次数：
24
一、连接SQL package com.njbdqn.linkSql import java.util.Properties import org.apache.spark.sql.SparkSession import org.apache.spark.sql._ object LinkSql { ...
分类：
数据库 时间：
2020-10-06 20:52:59
阅读次数：
35
