java.lang.RuntimeException: java.io.IOException: No such file or directory at org.apache.poi.xssf.streaming.SXSSFWorkbook.createAndRegisterSXSSFSheet( ...
分类：
Web程序 时间：
2021-01-18 11:31:01
阅读次数：
0
# 先定义dataframe各列的数据类型 from pyspark.sql.types import *schema = StructType([ StructField("a", NullType(), True), StructField("b", AtomicType(), True), S ...
分类：
其他好文 时间：
2021-01-18 11:29:36
阅读次数：
0
词频统计： 要求：统计Harry Potter.txt文件中出现最多单词前十位 内容样例： 代码及结果： @Test//词频统计 def WordCount(): Unit ={ val conf=new SparkConf().setMaster("local[6]").setAppName("w ...
分类：
其他好文 时间：
2021-01-18 11:17:13
阅读次数：
0
##SparkSQL 是什么 ##SparkSQL 初体验 ##Catalyst 优化器 ##Dataset 的特点 ##DataFrame 的作用和常见操作 ##Dataset 和 DataFrame 的异同 ...
分类：
数据库 时间：
2021-01-18 11:03:21
阅读次数：
0
本质： GDB 默认采用的是 all-stop 模式，即只要有一个线程暂停执行，所有线程都随即暂停； non-stop 模式，该模式下调试多线程程序，当某一线程暂停运行时，其它线程仍可以继续执行。 PS : ①只有 7.0 版本以上的 GDB 调试器，才支持 non-stop 模式。 ②在all-s ...
分类：
其他好文 时间：
2021-01-18 11:01:06
阅读次数：
0
/// <summary> /// 毫米转像素 高度 /// </summary> /// <param name="length"></param> /// <param name="frmHandle">当前窗口/控件句柄</param> /// <returns></returns> publ ...
分类：
其他好文 时间：
2021-01-16 11:54:02
阅读次数：
0
1. 设置执行引擎 set hive.execution.engine=mr;set hive.execution.engine=spark; 如果设置执行引擎为MR，那么调用Hadoop的maprecude来运行需要执行的job的程序； 如果设置执行引擎为spark，那么就会调用spark来执行任 ...
分类：
其他好文 时间：
2021-01-15 12:15:21
阅读次数：
0
docker run -d \ --name=mstream \ -e PUID=1000 \ -e PGID=1000 \ -e USER=leander806 \ -e PASSWORD=zhangyao13! \ -e USE_JSON=true/false \ -e TZ=Asia/Shan ...
分类：
其他好文 时间：
2021-01-15 11:44:38
阅读次数：
0
任务的划分 ? DAGScheduler类的handleJobSubmitted方法中，有一个提交阶段的的方法： var finalStage: ResultStage = null …… finalStage = createResultStage(finalRDD, func, partitio ...
分类：
其他好文 时间：
2021-01-12 10:29:01
阅读次数：
0
一、案例： 1、明确需求： 在访问日志中，统计独立ip数量TOP10 2、查看数据结构： ip：是时间戳Http Method Url..... 3、明确编码步骤： 3.1 取出ip，生成一个只有ip的数据集 3.2简单清晰 3.3统计ip出现的次数 3.4排序按照ip出现的次数 3.5取出前十 4 ...
分类：
其他好文 时间：
2021-01-11 11:19:54
阅读次数：
0
