环境 Notebook docker环境 https://registry.hub.docker.com/r/jupyter/datascience-notebook/ 下载安装包 spark安装包 http://mirror.bit.edu.cn/apache/spark/spark-3.0.0/ ...
分类：
其他好文 时间：
2020-07-04 18:29:02
阅读次数：
83
直接pip安装使用即可： 1、pytest-xdist功能：开启多个worker进程，同时执行多个测试用例，达到并发运行的效果官网介绍：https://pypi.org/project/pytest-xdist/ 2、pytest-allure-adaptor功能：生成allure报告，推荐jenk ...
分类：
其他好文 时间：
2020-07-04 15:16:43
阅读次数：
112
一.nginx介紹與安裝 1.Nginx是一款基於異步框架的輕量級/高性能的web服務器/反向代理服務器/緩存服務器/電子郵件代理服務器 優點： 高并發量 簡單穩定 低成本 2.nginx應用場景 3.apt-get安裝：apt-get install nginx -y 服務狀態:systemctl ...
分类：
其他好文 时间：
2020-07-04 11:40:07
阅读次数：
72
Your requirements could not be resolved to an installable set of packages. Problem 1 - phpoffice/phpspreadsheet 1.10.1 requires ext-fileinfo * -> the ...
分类：
其他好文 时间：
2020-07-04 11:39:20
阅读次数：
104
#user nobody; worker_processes 1; #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info; #pid logs/nginx.pid; ev ...
分类：
其他好文 时间：
2020-07-04 10:31:41
阅读次数：
106
背景 因与工作相关，所以本文中的数据都进行了更改，但逻辑是一样的。 笔者的服务ServerA会请求服务ServerH获取一些数据，但ServerH的接口有个N秒内只能请求M次的限制，并返回false。而笔者的服务瞬时请求量远超M次，所以采用了协程池在收到103错误时，停止worker的运行N秒，然后 ...
分类：
其他好文 时间：
2020-07-03 23:19:20
阅读次数：
113
1. 背景描述和需求 数据分析程序部署在Docker中，有一些分析计算需要使用Spark计算，需要把任务提交到Spark集群计算。 接收程序部署在Docker中，主机不在Hadoop集群上。与Spark集群网络互通。 需求如下 1、在Docker中可程序化向Spark集群提交任务 2、在Docker ...
分类：
其他好文 时间：
2020-07-03 19:06:43
阅读次数：
62
项目来源厦门大学林子雨老师得Spark学习项目中，里面为部分项目代码和实验截图 读取文件 from pyspark import SparkConf, SparkContext from pyspark.sql import SparkSession from pyspark.ml.feature ...
分类：
其他好文 时间：
2020-07-03 19:04:21
阅读次数：
89
方式一： SavaAsTable 用法： df.write.mode(SaveMode.Overwrite).insertInto(table) 方式二： InsertInto 用法： df.write.mode(SaveMode.Overwrite).saveAsTable(table) 两种方式 ...
分类：
其他好文 时间：
2020-07-03 01:10:09
阅读次数：
152
