我们在本地使用vue测试和切换页面没有任何问题。于是打包好文件并上传到服务器，页面可以正常打开，但是一刷新就会出现页面404，这种情况我们该怎么办呢？ 首先分析问题 这种原因多数情况是因为vue中的router模式设置为history模式，页面url切换的跟随着路由切换， 但刷新时浏览器并不知道你的 ...
分类：
其他好文 时间：
2020-03-02 00:49:34
阅读次数：
504
Partner的问题 Solution 在Cloud for Customer的Service Control Center里能看到C4C升级时间： Java应用程序入口： 输入一个文本文件，这个Java应用会利用Spark的大数据处理功能，迅速统计出这个文本文件里每个单词出现的次数，按从高到低排序 ...
分类：
移动开发 时间：
2020-03-01 14:07:27
阅读次数：
92
我的个人博客：https://www.luozhiyun.com/ 为什么需要Spark？ MapReduce的缺陷 第一，MapReduce模型的抽象层次低，大量的底层逻辑都需要开发者手工完成。 第二，只提供Map和Reduce两个操作。 举个例子，两个数据集的Join是很基本而且常用的功能，但是 ...
分类：
其他好文 时间：
2020-03-01 12:46:39
阅读次数：
87
当需要从数据库查询的表有上万条记录的时候，一次性查询所有结果会变得很慢，特别是随着数据量的增加特别明显，这时就需要使用分页查询。对于数据库分页查询，也有很多种方法和优化的点。 谈优化前的准备工作 为了对下面列举的一些优化进行测试，需要使用已有的一张表作为实际例子。 表名：order_history。 ...
分类：
数据库 时间：
2020-03-01 10:36:33
阅读次数：
110
1、什么是Spark Spark是一种统一、快速、通用、可扩展的分布式大数据分析引擎。分布式体现在Spark一般情况是以集群模式存在，架构为Master/Slaver(主从结构)。大数据分析引擎体现在Spark能够分析数据，但是没有存储。一般线上的spark数据来源 （HDFS, Hive、Kafk ...
分类：
其他好文 时间：
2020-02-29 20:51:19
阅读次数：
74
静态数据：比如数据仓库中的数据, 类似三峡水库中的水. (数据挖掘, OLAP 分析工具) 流数据: 网络监控, 传感检测, 大量的, 流式的数据(不断的产生, 源源不断的到达). 比如 PM2.5 的检测， 这种需要实时的监控和处理(分析). 流数据的特性 推送的方式: 实时查询的结果 流计算应用 ...
分类：
其他好文 时间：
2020-02-29 20:39:25
阅读次数：
96
Spark 是基于内存的计算, 低延迟. Apache 基金会3大分布式系统开源项目 Hadoop, Spark, Storm (数据流) Spark 特点: 处理快， 容易使用(Java,Python,Scala,R). 通用性(包括SQL,机器学习, 流失计算), 运行模式多样 Spark生态系 ...
分类：
其他好文 时间：
2020-02-29 17:28:30
阅读次数：
94
【摘要】 external-shuffle-service是Spark里面一个重要的特性，有了它后，executor可以在不同的stage阶段动态改变数量，大大提升集群资源利用率。但是这个特性当前在k8s上并不能很好的运行。让我们来看看，在k8s上要实现这个external-shuffle-serv ...
分类：
其他好文 时间：
2020-02-29 16:18:30
阅读次数：
112
错误代码： 完整错误信息为： Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe. : org.apache.hadoop.mapred.Inva ...
分类：
编程语言 时间：
2020-02-29 13:14:45
阅读次数：
81
[root@aischang ~]# echo > /var/log/wtmp 此文件默认打开时乱码的，里面可以看到ip等等信息 [root@aischang ~]# echo >/var/log/wtmp [root@aischang ~]# last 此时即看不到用户登录信息 清除登陆系统失败的 ...
分类：
系统相关 时间：
2020-02-29 13:07:12
阅读次数：
118
