history 清除登陆系统成功的记录 [root@localhost root]# echo > /var/log/wtmp //此文件默认打开时乱码，可查到ip等信息 [root@localhost root]# last //此时即查不到用户登录信息 清除登陆系统失败的记录 [root@loc ...
分类：
其他好文 时间：
2020-07-07 00:16:41
阅读次数：
83
1、Spark是什么 Spark是一个高性能内存处理引擎，它提供了基于RDD的数据抽象，能够灵活处理分布式数据集 2、Spark核心概念 RDD：弹性分布式数据集，它是一个只读的、带分区的数据集合，并支持多种分布式算子。由下面5部分构成： 一组partition 每个partition的计算函数 所 ...
分类：
其他好文 时间：
2020-07-06 19:30:48
阅读次数：
57
RDD(Resilient Distributed Dataset)叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个可分区，不可变，里面的元素可并行计算的结合。RDD具有自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显示地将工作集换存在内存中，后续的查询能够重用工作集 ...
分类：
其他好文 时间：
2020-07-06 16:20:23
阅读次数：
61
Spark 分组取Top N运算 大数据处理中，对数据分组后，取TopN是非常常见的运算。 下面我们以一个例子来展示spark如何进行分组取Top的运算。 1、RDD方法分组取TopN from pyspark import SparkContext sc = SparkContext() 准备数据 ...
分类：
其他好文 时间：
2020-07-06 16:11:05
阅读次数：
78
header(location:你的上一页的路径); // 注意这个函数前不能有输出 header(location:.getenv("HTTP_REFERER")); // 返回其调用页面 echo"<script>alert('提交成功！');history.go(-1);</script>"; ...
分类：
Web程序 时间：
2020-07-06 11:12:06
阅读次数：
131
vue项目经历难点回顾： 1.做一个活动页面的时候，用history模式后上传到服务器之后，如果访问内容页（子页）之后，按f5刷新，会报一个404错误， 如果是Apache服务器，咱们可以自己做一个文件重新定向到index文件， 如果是nginx服务器，也是需要重定向配置服务器，然后重启服务器， 2 ...
分类：
其他好文 时间：
2020-07-05 21:38:45
阅读次数：
162
下面安装的六步和通过Maven安装Java项目的方式相同 如果刚安装完IDEA，直接点击[Create New Project] 左侧选择Maven，然后先勾选上部的[Create from archetype],然后右侧选择[maven-archetype-quickstart] 填写GroupI ...
分类：
其他好文 时间：
2020-07-05 19:02:22
阅读次数：
90
DAG ： 整个计算链可以抽象为一个DAG(有向无环图) Spark 的 DAG 作用： 记录了RDD之间的依赖关系，即RDD是通过何种变换生成的， 如下图：RDD1是RDD2的父RDD，通过flatMap操作生成 借助RDD之间的依赖关系，可以实现数据的容错， 即子分区(子RDD)数据丢失后，可以 ...
分类：
其他好文 时间：
2020-07-05 17:29:07
阅读次数：
56
RDD概述 RDD：弹性分布式数据集，初学时，可以把RDD看做是一种集合类型（和Array，List类比） RDD的特点： ①有容错性，即数据丢失是可以恢复的 ②有分区机制，可以并行的处理RDD数据 创建RDD的2种方式： ①将一个普通的集合类型(Array或List) ②通过Spark读取外部存储 ...
分类：
其他好文 时间：
2020-07-05 15:15:06
阅读次数：
66
free -h|awk 'NR==2' 396 free -h|awk 'NR==3' 397 free -h|awk 'NR==2{print $NF}' 398 free -h|awk 'NR==2{print $NF,$2}' 399 free -h|awk 'NR==2{print $NF/ ...
分类：
其他好文 时间：
2020-07-04 20:24:12
阅读次数：
47
