cgroup blkio子系统对容器的读写限速详解
作者：a朋
正文
如果多个容器同时read/write节点上的一块磁盘，如何对每个容器的read/write操作限速，以防止其相互干扰、相互竞争。
cgroup v1的blkio子系统，可以限制磁盘的I/O。
一. 磁盘读写的指标
衡量磁盘读写的常见指标：
- IOPS(Input/Output Operations per Second): 每秒读写磁盘的次数；
- Throughput(吞吐量): 每秒读写磁盘的数据量，也称为带宽(BandWidth);
Throughput = 数据块大小 * IOPS
在IOPS固定的情况下，读写的数据块越大，吞吐量也越大。
二. cgroup v1的blkio子系统
blkio cgroup的虚拟文件系统挂载点/sys/fs/cgroup/blkio/，包含以下参数：
- blkio.throttle.read_iops_device：读IOPS限制；
- blkio.throttle.read_bps_device：读吞吐量限制；
- blkio.throttle.write_iops.device：写IOPS限制；
- blkio.throttle.write_bps_device：写吞吐量限制；
比如，限制容器对磁盘/dev/vdb的写吞吐量 <= 10MB/s:
## 1.首先拿到/dev/vdb的主次设备号 # 其中 252:16是/dev/vdb的主次设备号 # ls -l /dev/vdb -l brw-rw---- 1 root disk 252, 16 Nov 2 08:02 /dev/vdb ## 2.然后写cgroup echo "252:16 10485760" > $CGROUP_CONTAINER_PATH/blkio.throttle.write_bps_device
可以使用fio工具，在容器中进行验证：
docker exec fio_test1 fio -direct=1 -rw=write -ioengine=libaio -bs=4k -size=100MB -numjobs=1 -name=/tmp/fio_test1.log
值得注意的是：
Cgroupv1 blkio只能对Direct I/O进行限速，不能对Buffered I/O进行限制。
三. Direct I/O 与 Buffered I/O
Direct I/O和Buffered I/O发生在用户 写 磁盘文件时。
Direct I/O:
- 通过Linux内核的filesystem --> block layer --> disk driver --> disk hardware；
Buffered I/O:
- 用户进程将数据写入Page cache后就返回了；
- Linux内核线程把内存中的数据flush到磁盘；
在Linux中，基于性能考虑，绝大多数的应用都使用Buffered I/O模式。
四. 为什么cgroup v1 blkio不能限制Buffered I/O
对下图中的进程 pid_y 的cgroup进行限制，它分别属于memory cgroup 和 blkio cgroup：
在blkio cgroup对 pid_y 做磁盘I/O限制的时候，blkio不会关心：
- pid_y 用了哪些内存，哪些属于Page cache，何时flush到磁盘；
- pid_y 中的Page cache被flush到磁盘时，由于是内核线程执行flush，产生的磁盘I/O不被计算到进程 pid_y上；
也就是说：
cgroup v1 blkio独立与memory子系统，它无法统计由Page cache刷入磁盘的I/O;
即 cgroup v1 blkio不能对Buffered I/O进行限速；
五. cgroup v2解决这一问题
cgroup v2解决了不能对Buffered I/O进行限速的问题。
在cgroup v2中：
- 一个进程属于一个控制组；
- 每个控制组可以定义多个子系统；
上图中，pid_y 属于控制组group2，而group2同时配置了io和memory子系统；
在此情况下，cgroup对 pid_y 的磁盘读写进行限速的时候，就可以知道 pid_y 写入Page Cache的数据量，这样Buffered I/O的磁盘限速就实现了。
也就是说，在cgroup v2中：
内核将Page cache flush到磁盘产生的I/O也会被计算到进程的I/O中；
对磁盘限速时，可以同时限制Directed I/O和Buffered I/O；
值得注意的是，目前runC、containerd和kubernetes刚开始支持cgroup v2，生产环境上cgroup v1迁移到cgroup v2还需要一个过程。
参考 blkio的文档
https://www.kernel.org/doc/Documentation/cgroup-v1/blkio-controller.txt
以上就是cgroup blkio子系统对容器的读写限速详解的详细内容，更多关于cgroup blkio容器读写限速的资料请关注脚本之家其它相关文章！