一、 数据准备 本文主要介绍 Spark SQL 的多表连接，需要预先准备测试数据。分别创建员工和部门的 Datafame，并注册为临时视图，代码如下： val spark = SparkSession.builder().appName("aggregations").master("local[ ...
分类：
数据库 时间：
2020-06-26 18:28:15
阅读次数：
72
一、简单聚合 1.1 数据准备 // 需要导入 spark sql 内置的函数包 import org.apache.spark.sql.functions._ val spark = SparkSession.builder().appName("aggregations").master("lo ...
分类：
数据库 时间：
2020-06-26 18:03:35
阅读次数：
58
想了解大数据量的运维能力。 解答：索引数据的规划，应在前期做好规划，正所谓“设计先行，编码在后”， 这样才能有效的避免突如其来的数据激增导致集群处理能力不足引发的线上客户 检索或者其他业务受到影响。 如何调优，正如问题 1 所说，这里细化一下： 3.1 动态索引层面 基于模板+时间+rollover ...
分类：
其他好文 时间：
2020-06-26 14:21:51
阅读次数：
73
作者｜Frank： Frank, 爱奇艺云平台科学家, 目前是爱奇艺安全云负责人, 日常主导安全云在业务安全, 云安全, 数据安全, 安全攻防, 移动安全等各领域的技术创新和项目实施, 特别是将大数据风控引入到了爱奇艺业务安全保障中, 实现数据驱动安全和安全智能化。 01普遍业务风险行业的共同的问题 ...
分类：
其他好文 时间：
2020-06-26 13:09:29
阅读次数：
428
一、简介 在 Spark 中，提供了两种类型的共享变量：累加器 (accumulator) 与广播变量 (broadcast variable)： 累加器：用来对信息进行聚合，主要用于累计计数等场景； 广播变量：主要用于在节点间高效分发大对象。 二、累加器 这里先看一个具体的场景，对于正常的累计求和 ...
分类：
其他好文 时间：
2020-06-26 10:59:41
阅读次数：
50
?所谓大数据（Big Data），就是需要处理的数据量非常巨大，已经达到了 TB、PB 甚至 EB、ZB 级别，需要成千上万块硬盘才能存储。传统的技术手段在大数据面前不堪一击，只能探索一套新的解决方案。 这套《大数据技术与应用教程》对大数据处理过程中涉及的各种关键技术做了详细的介绍，包括大数据思维、 ...
分类：
其他好文 时间：
2020-06-26 01:29:48
阅读次数：
95
一、安装Spark 1.1 下载并解压 官方下载地址：http://spark.apache.org/downloads.html ，选择 Spark 版本和对应的 Hadoop 版本后再下载： 解压安装包： # tar -zxvf spark-2.2.3-bin-hadoop2.6.tgz 1.2 ...
分类：
其他好文 时间：
2020-06-25 21:47:14
阅读次数：
74
一、RDD简介 RDD 全称为 Resilient Distributed Datasets，是 Spark 最基本的数据抽象，它是只读的、分区记录的集合，支持并行操作，可以由外部数据集或其他 RDD 转换而来，它具有以下特性： 一个 RDD 由一个或者多个分区（Partitions）组成。对于 R ...
分类：
其他好文 时间：
2020-06-25 21:27:05
阅读次数：
66
? 程序员往往一心扑在编程技术上面，学习编程语言，算法，网络，自己子领域相关的知识等等。这非常正确，也是作为coder的核心竞争力所在，姑且称之为“硬技能”吧。 对于有一个程序员来说除了日常码代码之外，其实也需要很多编程之外的软件能，非专业上面的技能可以更好的展现你的情商，与人合作的能力等。 以程序 ...
分类：
其他好文 时间：
2020-06-24 22:07:21
阅读次数：
66
1、概述 大数据程序员为什么要学习Shell？ （1）需要看懂运维人员编写的shell程序 （2）偶尔会编写一些简单shell程序来管理集群、提高开发效率 Shell是 一个命令行解释器，它接收应用程序/用户命令，然后调用操作系统内核 Shell是一个功能强大的编程语言、易编写、易调试、灵活性强 2 ...
分类：
系统相关 时间：
2020-06-24 19:56:46
阅读次数：
63
