码迷,mamicode.com
首页 > 其他好文 > 详细

Docker——Cgroup资源限制

时间:2020-01-21 10:33:10      阅读:183      评论:0      收藏:0      [点我收藏+]

标签:bdc   swa   基于   taskset   输入输出   表示   参数   工具   完全   

一、Cgroup

(1)Docker通过 Cgroup 来控制容器使用的资源配额,包括 CPU、内存、磁盘三大方面,基本覆盖了常见的资源配额和使用量控制。

(2)Cgroup 是 Linux 内核提供的一种可以限制、记录、隔离进程组所使用的物理资源的机制。

Cgroup 子系统:

1、blkio:设置限制每个块设备的输入输出控制;
2、cpu:使用调度程序为 cgroup 任务提供 cpu 的访问;
3、cpuacct:产生 cgroup 任务的 cpu 资源报告;
4、cpuset:如果是多核心的 cpu,这个子系统会为 cgroup 任务分配单独的 cpu 和内存;
5、devices:允许或拒绝 cgroup 任务对设备的访问;
6、freezer:暂停和恢复 cgroup 任务;
7、memory:设置每个 cgroup 的内存限制以及产生内存资源报告;
8、net_cls:标记每个网络包以供 cgroup 方便使用;
9、ns:命名空间子系统;
10、perf_event:增加了对每个 cgroup 的监测跟踪能力,可以监测属于某个特定的 cgroup 的所有线程及运行在特定 CPU 上的线程。

二、使用 stress 工具测试 CPU 和内存

首先使用 Dockerfile 来创建一个基于 Centos 的 stress 的工具镜像:

[root@localhost ~]# mkdir /opt/stress
[root@localhost ~]# cd /opt/stress/

[root@localhost stress]# vim Dockerfile
FROM centos:7
RUN yum install -y wget
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
RUN yum install -y stress

[root@localhost stress]# docker build -t centos:stress .    //创建镜像

(1)使用如下命令创建容器,命令中的 --cpu-shares 参数值不能保证可以获得 1 个 vcpu 或者多少 GHz 的CPU 资源,它仅是一个弹性的加权值。

[root@localhost stress]# docker run -itd --cpu-shares 100 centos:stress
08a203033c051098fd6294cd8ba4e2fa8baa18cefb793c6c4cd655c0f28cabc0

注意:默认情况下,每个 Docker 容器的CPU的份额都是1024,单独一个容器的份额是没有意义的。只有在同时运行多个容器时,容器的 CPU 加权的效果才能体现出来。
例如,两个容器 A、B 的CPU份额分别是 1000 和 500 ,在 CPU 进行时间片分配的时候,容器A比容器B多一倍的机会获得 CPU 的时间片。但分配的结果取决于当时主机和其他容器的运行状态,实际上也无法保证容器 A 一定能获得CPU 时间片。比如容器 A 的进程一直是空闲的,那么容器 B 是可以获取比容器 A 更多的 CPU 时间片。极端情况下,例如主机上只运行了一个容器,即使它的 CPU 份额只有 50,它也可以独占整个主机的 CPU 资源。

比如:Cgroup 只在容器分配的资源紧缺时,即在需要对容器使用的资源进行限制时,才会生效。因此,无法单纯根据某个容器的 CPU 份额来确定有多少 CPU 资源分配给它,资源分配结果取决于同时运行的其他容器的 CPU 分配和容器中进程运行情况。可以通过 cpu share 可以设置容器使用 CPU 的优先级。

比如,启动了两个容器及运行查看 CPU 使用百分比
1、

//容器产生10个子函数进程:
[root@localhost stress]# docker run -itd --name cpu512 --cpu-shares 512 centos:stress stress -c 10
99086cce962308fdb5417df189571e39f375ab2c067887cbac48e773225f25c7

//进入容器再使用top命令查看cpu使用情况:
[root@localhost stress]# docker exec -it 99086cce9623 bash
[root@99086cce9623 /]# top
.. ..
.. ..
.. ..
.. ..
按 q 退出,
[root@99086cce9623 /]# exit        //退出整个容器

技术图片
2、此时,我们可以再开启另外一个容器做比较:

[root@localhost stress]# docker run -itd --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10
81e29988fce779c6b3e10fb8570ae2358db4090e1987202bb7919260287eca66

[root@localhost stress]# docker exec -it 81e29988fce7 bash
[root@81e29988fce7 /]# top
..
..
..

技术图片
通过进入容器,观察两个容器的 %CPU,可以发现比例是 1:2

三、CPU 周期限制:

Docker 提供了 --cpu-period、–cpu-quota 两个参数控制容器可以分配到的 CPU 时钟周期。

–cpu-period :是用来指定容器对 CPU 的使用要在多长时间内做一次重新分配。
–cpu-quota :是用来指定在这个周期内,最多可以有多少时间用来跑这个容器。
与 --cpu-shares 不同的是。这种配置是指定一个绝对值,容器对 CPU 资源的使用绝对不会超过配置的值。
注意:
cpu-period 和 cpu-quota 的单位是微秒;
cpu-period 的最小值是1000微秒,最大值为1秒,默认值为0.1秒。
cpu-quota 的值默认是 -1 ,表示不做控制;
cpu-period 和 cpu-quota 参数一般联合使用。

例如:
容器进程需要每一秒使用单个 CPU 的0.2秒时间,可以将 cpu-period 设置为 1000000(即1秒),cpu-quota 设置为 200000(0.2秒),当然,在多核情况下,如果允许容器进程完全占有两个 CPU,则可以将 cpu-period 设置为 100000(即0.1秒),cpu-quota 设置为 200000(0.2秒)。

[root@localhost stress]# docker run -itd --cpu-period 100000 --cpu-quota 200000 centos:stress
3f2a577cf6a281347338cbf9734440b3b8a29e771dc4890a9f243eb0773f6c09

[root@localhost stress]# docker exec -it 3f2a577cf6a2 bash

[root@3f2a577cf6a2 /]# cat /sys/fs/cgroup/cpu/cpu.cfs_period_us 
100000
[root@3f2a577cf6a2 /]# cat /sys/fs/cgroup/cpu/cpu.cfs_quota_us  
200000

技术图片

四、CPU Core 控制:

对于多核 CPU 的服务器,Docker 还可以控制容器运行使用哪些 CPU 内核,即使用 --cpuset-cpus 参数。这对具有多 CPU 的服务器尤其有用,可以对需要高性能计算的容器进行性能最优配置。

[root@localhost ~]# docker run -itd --name cpu02 --cpuset-cpus=0-2 centos:stress
76994f5d310de48ee635f69270f7c9b4cba1e65aad935ff1e0d6e098441104eb
//执行该命令(需要宿主机为四核),表示创建的容器只能使用0、1、2 三个内核。 

[root@localhost ~]# docker exec -it 76994f5d310d bash    //进入容器
[root@76994f5d310d /]# cat /sys/fs/cgroup/cpuset/cpuset.cpus
0-2

技术图片
通过下面指令可以看到容器中进程与 CPU 内核的绑定关系,达到 CPU 内核的目的:

[root@localhost ~]# docker exec 76994f5d310d taskset -c -p 1
pid 1‘s current affinity list: 0-2
//容器内部第一个进程号 pid为1,被绑定到指定CPU上运行。

技术图片

五、CPU 配额控制参数的混合使用:

通过 cpuset-cpus 参数指定容器 A 使用 CPU 内核 0,容器B 只是用 CPU 内核1;在主机上只有这两个容器使用对应 CPU 内核的情况,它们各自占有全部的内核资源,cpu-shares 没有明显效果。cpuset-cpus、cpuset-mems 参数只在多核、多内存节点上的服务器上有效,并且必须与实际的物理配置匹配,否则也无法达到资源控制的目的。在系统具有多个 CPU 内核的情况下,需要通过 cpuset-cpus 参数为设置容器 CPU 内核才能方便地进行测试。

[root@localhost ~]# docker run -itd --name cpu3 --cpuset-cpus 1 --cpu-shares 512 centos:stress stress -c 1
d6e122af832297a05b6993ea3146a2a62969557989933ac9f1bf59f2a1de5c50

[root@localhost ~]# docker exec -it d6e122af8322 bash
[root@d6e122af8322 /]# top  //top查看后,按1可以看到每个核心的占用情况

技术图片
我们再创建一个容器:

[root@localhost ~]# docker run -itd --name cpu4 --cpuset-cpus 3 --cpu-shares 1024 centos:stress stress -c 1
d375a1ba761a711d55a01d95c7a5d494e62f86d447d36422be666cacf6483ca1

[root@localhost ~]# docker exec -it d375a1ba761a bash
[root@d375a1ba761a /]# top

技术图片

六、内存限额:

与操作系统类似,容器可使用的内存包括两部分:物理内存 和 Swap;

docker 通过下面两组参数来控制容器内存的使用量:

-m 或 --memory:设置内存的使用限额,例如 100M、1024M;
–memory-swap:设置内存 +swap 的使用限额。
例如:执行如下命令允许该容器最多使用 200M的内存,300M 的swap:

[root@localhost ~]# docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 280M
// --vm 1:启动1个内存工作线程;
   --vm-bytes 280M :每个线程分配280M内存;

如果让工作线程分配的内存超过 300M,分配的内存超过限额,stress线程报错,容器退出:
[root@localhost ~]# docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 310M

技术图片

七:Block IO 的限制:

默认情况下,所有容器能平等地读写磁盘,可以通过设置 --blkio-weight 参数来改变容器 block IO 的优先级。

–blkio-weight 与 --cpu-shares 类似,设置的是相对权重值,默认为500
在下面的例子中,容器 A 读写磁盘的带宽是容器 B 的两倍:

[root@localhost ~]# docker run -it --name container_A --blkio-weight 600 centos:stress
[root@0f9b8d716206 /]# cat /sys/fs/cgroup/blkio/blkio.weight

[root@localhost ~]# docker run -it --name container_B --blkio-weight 300 centos:stress
[root@55bdce1cab5d /]# cat /sys/fs/cgroup/blkio/blkio.weight

技术图片

八、bps 和 iops 的限制:

(1)bps :是 byte per second,每秒读写的数据量;

(2)iops :是 io per second,每秒 IO 的次数;

(3)可以通过以下的参数来控制 bps 和 iops:

–device-read-bps:限制读某个设备的 bps;
device-write-bps:限制写某个设备的 bps;
device-read-iops:限制读某个设备的 iops;
device-write-iops:限制写某个设备的 iops。
例如:

限制容器 写 /dev/sda 磁盘的速率为 5MB/s:

[root@localhost ~]# docker run -it --device-write-bps /dev/sda:5MB centos:stress 

技术图片

Docker——Cgroup资源限制

标签:bdc   swa   基于   taskset   输入输出   表示   参数   工具   完全   

原文地址:https://blog.51cto.com/14475593/2468078

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!