Spark SQL 及其 DataFrame 的基本操作 Q & A 1. Spark SQL 出现的原因是什么? 关系数据库已经流行多年，能较好的满足各类商业公司的业务数据管理需求，但关系数据库在大数据时代已经不能满足各种新增的用户需求。用户需要从不同数据源执行各种操作（包括结构化和非结构化数据） ...
分类：
数据库 时间：
2021-05-24 04:48:45
阅读次数：
0
MSF应用基础 实践目标 本实践目标是掌握metasploit的基本应用方式，重点常用的三种攻击方式的思路。 实践内容 一个主动攻击实践，尽量使用最新的类似漏洞； 一个针对浏览器的攻击，尽量使用最新的类似漏洞； 一个针对客户端的攻击，如Adobe或office，尽量使用最新的类似漏洞； 成功实现应用 ...
分类：
其他好文 时间：
2021-05-24 03:52:25
阅读次数：
0
前言 Elastic自身设计了集群分片的负载平衡机制，当有新数据节点加入集群或者离开集群，集群会自动平衡分片的负载分布。 需求背景 公司原有大数据平台基于公有云构建，由于种种原因，现在需要迁移到自建机房，Elasticsearch集群承担了大数据平台主要的对外查询需求，也有部分实时计算需求基于Ela ...
分类：
其他好文 时间：
2021-05-24 03:46:38
阅读次数：
0
1. Glue与Hudi简介 AWS Glue AWS Glue是Amazon Web Services(AWS)云平台推出的一款无服务器(Serverless)的大数据分析服务。对于不了解该产品的读者来说，可以用一句话概括其实质：Glue是一个无服务器的全托管的Spark运行环境，只需提供Spar ...
分类：
Web程序 时间：
2021-05-24 03:46:26
阅读次数：
0
1. Docker 镜像 Docker 镜像是个只读的容器模板，它组成了 Docker 容器的静态文件系统运行环境 rootfs，是启动 Docker 容器的基础。 Docker 镜像是容器的静态视角，容器是镜像的运行状态。那么，怎么构建 Docker 镜像呢？这就要涉及到 Liunx 的联合文件系 ...
分类：
其他好文 时间：
2021-05-24 02:04:43
阅读次数：
0
? 今天，大家就请跟着数栈君一起，和申杭聊聊他从青铜到星耀的大数据之路。 数栈君：申杭，你是07年从华中科技大学软件工程专业毕业的，能说说你当时为什么选择这个专业吗？ 申杭：当时会计、师范、机械制造、土木类专业比较热门，一般家人都会让报这些专业，出来好就业。而电子、计算机、软件工程类的专业刚刚兴起， ...
分类：
其他好文 时间：
2021-05-24 00:46:57
阅读次数：
0
实践得知 transform对伪元素不起作用 ...
分类：
其他好文 时间：
2021-05-24 00:27:55
阅读次数：
0
20182213 Exp6 MSF应用基础 #1. 实验内容 ##1.1&1.4一个主动攻击实践，尽量使用最新的类似漏洞; （利用辅助模块） ###攻击方式：CVE-2019-0708 ###靶机：Microsoft Windows win7 x64 SP1 profession ####1.1.1 ...
分类：
其他好文 时间：
2021-05-24 00:18:17
阅读次数：
0
解决RuntimeError: you must first build vocabulary before training the model错误 查找解决方案，意思就是说你的数据集中的数量过少，解决方案有两种，扩大数据集的数量、另一个就是更改min_count的值例如：如果太少的话可以更改为 ...
分类：
其他好文 时间：
2021-05-23 23:49:16
阅读次数：
0
DolphinScheduler之最美好的遇见 主人翁介绍 hello，大家好，我是郭强，目前是Apache DolphinScheduler的Commiter。擅长大数据olap、大数据调度、RPC开发等。目前专注于大数据领域核心技术研发。 我也是一名开源爱好者，我要讲的是我从起始给 Dolphi ...
分类：
其他好文 时间：
2021-05-04 16:34:22
阅读次数：
0
