对于Vue 这类渐进式前端开发框架，为了构建SPA（单页面应用），需要引入前端路由系统，这也就是Vue-router存在的意义。前端路由的核心，就在于——— 改变视图的同时不会向后端发出请求。 一、为了达到这个目的，浏览器提供了以下两种支持： 1、hash ——即地址栏URL中的#符号（此hsah ...
分类：
其他好文 时间：
2020-12-08 13:09:47
阅读次数：
17
利用Spark往Hive中存储parquet数据，针对一些复杂数据类型如map、array、struct的处理遇到的问题？为了更好的说明导致问题 ...
分类：
其他好文 时间：
2020-12-08 12:44:11
阅读次数：
4
启动后界面如下： 左侧功能栏：History为近期的测试脚本历史记录；Collections为以postman官网API为例的脚本实例，也可以新建文件夹，用于放置不同测试脚本的文件集合； 主界面：可以选择HTTP请求的方法，填写URL、参数，cookie管理、脚本保存&另存为等功能。 请求实例 关于 ...
分类：
其他好文 时间：
2020-12-08 12:23:06
阅读次数：
3
设计Spark程式过程中最初始的是创建RDD数据集，该数据集来自定义的源数据，当RDD数据集初始后，再通过算子对RDD数据集作转换生成后续的数据集。Spark中提供了多种创建RDD数据集的方法，比如：通过内存集合创建、或使用本地文件创建以及HDFS文件创建RDD数据集。最常见的是第三种方式，生产环境下通常会读取并基于HDFS上存储的数据来创建并进行离线批处理。典型的RDD创建流程为，通过输入算子（
分类：
其他好文 时间：
2020-12-04 10:59:58
阅读次数：
4
Flink的优势和特点： 一、同时支持高吞吐、低延迟、高性能 Flink是目前开源社区中唯一一套集高吞吐、低延迟、高性能三者于一身的分布式流式数据处理框架。Apache Spark也只能兼顾高吞吐和高性能特点，主要是因为Spark Streaming流式计算中无法做到低延迟保障；而流式计算框架Apa ...
分类：
其他好文 时间：
2020-12-03 11:33:38
阅读次数：
5
前段时间跟一个朋友聊起kafka,flint,spark这些是不是某种分布式运算框架。我自认为的分布式运算框架最基础条件是能够把多个集群节点当作一个完整的系统，然后程序好像是在同一台机器的内存里运行一样。当然，这种集成实现方式有赖于底层的一套消息系统。这套消息系统可以把消息随意在集群各节点之间自由传 ...
分类：
其他好文 时间：
2020-11-30 16:09:25
阅读次数：
9
一、loss、acc提取 有时候我们需要查看每个batch训练时候的损失loss与准确率acc，这样可以帮助我们挑选合适的epoch以及查看模型是否收敛。 Model.fit()在调用时会返回一个History类，这个类的一个属性Historty.history是一个字典，里面就包含了每一个batc ...
分类：
其他好文 时间：
2020-11-30 16:04:44
阅读次数：
7
列出的都是我工作中用上的，不足之处请在评论区补充，本文持续更新，分享才能进步加油！ jps -l ：查看所有的进程和 pid tail -100f ：动态查看后100行 cat：查看所有 kill -9 pid ：杀死进程 ll：纵表展示目录 history / history 100 ：展示历史命 ...
分类：
系统相关 时间：
2020-11-27 11:17:51
阅读次数：
14
###Spark中的UDF Spark1.6只能创建临时UDF，不支持创建持久化的UDF。 从Spark-2.0开始，SparkSQL支持持久化的UDF，目前看来是支持UDAF ###Spark中的UDF 过程 (1)自定义UDF类，实现UDF1/2/3....22中的接口之一，其中UDF后跟的数字 ...
分类：
其他好文 时间：
2020-11-26 15:06:55
阅读次数：
6
最近经常有小伙伴留言，核心问题都比较类似，就是虽然接触Spark有一段时间了，但是搞不明白一个问题，为什么我从HDFS上加载不同的文件时，打印的分区数不一样，并且好像spark.default.parallelism这个参数时不是一直起作用？其实笔者之前的文章已有相关介绍，想知道为什么，就必须了解S... ...
分类：
其他好文 时间：
2020-11-23 12:25:04
阅读次数：
5
