Spark的架构图 1、RDD(弹性分布式数据集) RDD是对象的分布式集合。 RDD以并行方式应用和记录数据转换 RDD也提供数据沿袭——以图形形式给出每个中间步骤的祖先树,当RDD的一个分区丢失,可以根据祖先树重建该分区。 RDD有两组操作,转换(transformation)和行动(actio ...
分类:
其他好文 时间:
2020-07-28 22:37:30
阅读次数:
72
透视函数其实就是我们excel中常用的数据透视表相似,先来看个例子。 以下是准备的数据源,数据是电商系统中用户的行为数据(浏览,收藏,加购,成交,评分等),score为统计次数。 对应的字段分别为 租户id,用户id,商品编码Id,行为事件代码,当日统计次数,统计日期。 现在我们要转换成目标的数据是 ...
分类:
其他好文 时间:
2020-07-28 17:17:13
阅读次数:
131
Hive函数大全–完整版 现在虽然有很多SQL ON Hadoop的解决方案,像Spark SQL、Impala、Presto等等,但就目前来看,在基于Hadoop的大数据分析平台、数据仓库中,Hive仍然是不可替代的角色。尽管它的相应延迟大,尽管它启动MapReduce的时间相当长,但是它太方便、 ...
分类:
其他好文 时间:
2020-07-28 14:21:17
阅读次数:
191
1. 块设备(block devices):块设备是一个能存储固定大小块信息的设备,它支持以固定大小的块,扇区或群集读取和(可选)写入数据。每个块都有自己的物理地址。通常块的大小在 512 - 65536 之间。所有传输的信息都会以连续的块为单位。块设备的基本特征是每个块都较为对立,能够独立的进行读 ...
分类:
其他好文 时间:
2020-07-28 00:12:59
阅读次数:
99
一、简介 在每个节点(driver和executor)上运行的管理器,该接口提供用于在本地和远程将block放置和检索到各种存储(内存,磁盘和堆外)的接口。 二、源码 private[spark] class BlockManager( executorId: String, rpcEnv: Rpc ...
分类:
其他好文 时间:
2020-07-27 23:41:12
阅读次数:
73
const axios = window.axios // eslint-disable-line let QueryString export default { getToken, getUrlToken, getRole } /** * 将URL中的参数变成对象,存储在QueryString中 ...
分类:
其他好文 时间:
2020-07-27 13:47:24
阅读次数:
540
车联网中基于联盟链的数据安全共享和存储 摘要 车联网(VANET)可以通过改善交通流量来实现智能交通和提供便捷的信息服务;其目标是为了提升道路上车辆的数据自组织能力和传输能力,以实现协同驾驶和安全警告等应用。当车辆节点与其他节点共享数据时,车联网会受到身份有效性和消息可靠性等问题的影响。允许车辆节点 ...
分类:
Web程序 时间:
2020-07-26 23:20:20
阅读次数:
151
Spark SQL(6) OptimizedPlan 在这一步spark sql主要应用一些规则,优化生成的Resolved Plan,这一步涉及到的有Optimizer。 之前介绍在sparksession实例化的是会实例化sessionState,进而确定QueryExecution、Analy ...
分类:
数据库 时间:
2020-07-26 19:28:25
阅读次数:
101
一.什么是机器学习? 什么是机器学习?Herbert Sinmon给“学习”做出了这样的定义:“如果一个系统能够通过执行某个过程而改进性能,这就是学习。”更通俗的理解是:机器学习能够自动地从数据中学习“程序”,而这个程序不是人来编写的。 平面上有两类点,黄色代表类别a,蓝色代表类别b。这时我们希望能 ...
分类:
其他好文 时间:
2020-07-26 15:43:33
阅读次数:
56
1. 安装 stack 1) 下载对应的 install.exe 安装 stack https://docs.haskellstack.org/en/stable/README/ 2) 更改镜像源 cmd > stack install 生成 c:/sr 这个文件夹 c:/sr/config.yam ...