恢复内容开始 参考：https://www.cnblogs.com/imyalost/p/9758189.html #coding=utf-8import requests from locust import HttpLocust,TaskSet,task class Msg(TaskSet): ...
分类：
其他好文 时间：
2019-12-19 19:35:03
阅读次数：
332
在介绍Spark中的任务和资源之前先解释几个名词： Dirver Program：运行Application的main函数(用户提交的jar包中的main函数)并新建SparkContext实例的程序，称为驱动程序，通常用SparkContext代表驱动程序(任务的驱动程序)。 Cluster Ma ...
分类：
其他好文 时间：
2019-08-27 00:55:33
阅读次数：
144
spark-DAG图 DAG(Directed Acyclic Graph)叫做有向无环图，原始的RDD通过一系列的转换就就形成了DAG，RDD之间的依赖关系形成了DAG图，而根据RDD之间的依赖关系的不同将DAG划分成不同的Stage。 宽窄依赖 窄依赖：父RDD和子RDD partition之间 ...
分类：
其他好文 时间：
2019-08-15 20:51:42
阅读次数：
104
IRQ （中断） 指定某进程运行在指定cpu上：taskset -p cpu第几核 pid 优点：CPU固定后可以提升CPU在缓存下的命中率，然后屏蔽被指定的CPU，可以使得特定进程独享某CPU资源（将需要被隔离的cpu通过isolcpus=cpu number，。。。。。，cpu number写入 ...
分类：
其他好文 时间：
2019-08-11 11:18:53
阅读次数：
105
任务调度可以从一个Action类算子开始，因为Action类算子会触发一个job的执行 划分stage,以taskSet形式提交任务，DAGScheduler 类中getMessingParentStages()方法是切割job划分stage ...
分类：
其他好文 时间：
2019-07-24 22:22:40
阅读次数：
111
stage概念 Spark任务会根据RDD之间的依赖关系，形成一个DAG有向无环图，DAG会提交给DAGScheduler，DAGScheduler会把DAG划分相互依赖的多个stage，划分stage的依据就是RDD之间的宽窄依赖。遇到宽依赖就划分stage,每个stage包含一个或多个task任 ...
分类：
其他好文 时间：
2019-07-21 18:39:02
阅读次数：
88
上篇文章讲到DAGScheduler会把job划分为多个Stage，每个Stage中都会创建一批Task，然后把Task封装为TaskSet提交到TaskScheduler。这里我们来一起看下TaskScheduler是如何把Task分配到应用程序的Executor上去执行。重点是这里的task分配... ...
分类：
其他好文 时间：
2019-07-14 13:29:28
阅读次数：
135
locust参数化（数据库取值） 基于上一篇参数化的梳理，本篇用另一种方法从数据库中取出这100个用户来登录 思路：在 TaskSet 中的 on_start 方法表示执行任务前的操作，可以将数据库取数据的这个操作放在里面执行 原文地址https://blog.csdn.net/qq_3962048 ...
分类：
数据库 时间：
2019-06-10 17:18:53
阅读次数：
167
TaskSet类和TaskSequence类可用于嵌套<可以在TaskSequences中嵌套TaskSets，反之亦然>； ...
分类：
编程语言 时间：
2019-01-01 17:14:29
阅读次数：
338
1 from locust import HttpLocust, task, TaskSet 2 import os 3 4 5 ''' 6 -f 指定性能测试脚本文件 7 --host 指定被测试应用的URL的地址 8 --port 端口设置，默认8089 9 --no-web 表示不使用Web界... ...
分类：
其他好文 时间：
2018-12-31 17:25:51
阅读次数：
228
