1、参数配置(并行度)分区的默认个数等于对spark.default.parallelism的指定值2、根据父rdd的reduceTask数量3、读取hdfs的文件生成的rddrdd分区的数量等于hdfs的文件的block4、sparkStreaming生成的rdd根据block interval， ...
分类：
其他好文 时间：
2020-05-08 16:12:24
阅读次数：
129
问题: vue cli3将配置文件隐藏, 该怎么修改配置? --> 新建vue.config.js, 在其中修改. -->见后文 vue-router使用history模式, nginx怎么配置, 前端项目怎么配置? --> 见后文 先上我的项目目录, 红框是此次要涉及到的部分: 如果vue-rou ...
分类：
其他好文 时间：
2020-05-08 09:56:27
阅读次数：
166
官房文档里是这样说明的： 通过注入路由器，我们可以在任何组件内通过 this.$router 访问路由器，也可以通过 this.$route 访问当前路由 可以理解为： this.$router 相当于一个全局的路由器对象，包含了很多属性和对象（比如 history 对象），任何页面都可以调用其 p ...
分类：
其他好文 时间：
2020-05-07 19:50:32
阅读次数：
81
2020年05月07日 17:38 1.要想让硬件知道你指定的命令，我们必须通过Shell将我们输入的命令与内核沟通。2.Linux系统默认的shell就是bash在系统中的地址为/bin/bash。3.bash shell的最常用的功能： （1）、历史命令（history） ~/.bash_his ...
分类：
其他好文 时间：
2020-05-07 18:10:13
阅读次数：
64
https://electronjs.org/ 1: About Electron Electron is an open source library developed by GitHub for building cross-platform desktop applications with ...
分类：
其他好文 时间：
2020-05-05 23:31:00
阅读次数：
73
前言 目前仅在一家公司做过大数据相关，也不太清楚其他公司情况。东家这常用的大数据离线处理基本就是sqoop导入到hive中，然后使用spark或者hive计算出结果再导出到oracle中。很多情况下是把oracle中整个表或者某个时间条件的筛选出来的数据整个删掉，再把最新的这部分数据全部导数回到or ...
分类：
数据库 时间：
2020-05-05 21:59:35
阅读次数：
102
1 package com.bawei.core 2 3 import org.apache.spark.rdd.RDD 4 import org.apache.spark.{SparkConf, SparkContext} 5 6 /** 7 * 单词统计 8 9 */ 10 object Spa ...
分类：
数据库 时间：
2020-05-05 18:27:44
阅读次数：
87
1 package com.bawei.stream 2 3 import java.net.InetSocketAddress 4 5 import org.apache.spark.storage.StorageLevel 6 import org.apache.spark.streaming. ...
分类：
Web程序 时间：
2020-05-05 18:21:50
阅读次数：
79
1 package com.bawei.stream 2 3 import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} 4 import org.apache.spark.streaming.{Seconds, ...
分类：
其他好文 时间：
2020-05-05 18:01:51
阅读次数：
55
