首页 > 网站技巧 > 服务器 > 云和虚拟化 > docker > k8s 与docker空间使用

k8s 与docker空间使用分析与清理方法

2022-12-29 16:25:33 作者：lv2

使用Docker 运行业务一段时间后，可能会出现宿主节点的磁盘容量占用高，导致宿主机磁盘空间不足等异常，对业务造成影响，本文对 Docker 的空间占用进行汇总分析,需要的朋友可以参考下

1. 前言

使用 Docker 运行业务一段时间后，可能会出现宿主节点的磁盘容量占用高，导致宿主机磁盘空间不足等异常，对业务造成影响。本文对 Docker 的空间占用进行汇总分析，以及对应的清理操作进行说明，希望能帮到大家~

2. 常见问题场景

一般来说，docker包括镜像（image）、容器（container）和数据卷（volumn）三部分，日常遇到的docker空间占用问题，基本也是从这三方面入手。典型的场景有：

json.log文件过大
镜像较多占用空间大
local volumn占用空间大
基本上来说，docker 空间占用大，都是围绕上面几方面来开展分析的。下面说说空间分析及处理应对措施

3. docker 磁盘空间使用分析及处理

排查命令： docker system df
命令可以查询镜像(Images)、容器(Containers)和本地卷(Local Volumes)等空间占用情况，如下效果

docker system df 
TYPE            TOTAL     ACTIVE    SIZE      RECLAIMABLE
Images          17        15        6.016GB   1.001GB (16%)
Containers      29        26        4.444MB   0B (0%)
Local Volumes   7         4         465.5MB   232.7MB (50%)
Build Cache     0         0         0B        0B

3.1 image镜像占用分析及解决

通过 docker system df命令，查看Images镜像占用的空间大小，可以看到总的镜像数以及在用的镜像数。可以通过以下命令进行清理，从而达到释放空间占用的作用

# 通过命令清除无用的镜像，停止的容器和Volumes
docker system prune -a 
# 也可以通过命令手动删除指定镜像
docker rmi 镜像ID

3.2 json.log占用分析及解决

容器镜像数较多导致的空间占用是最常见也最容易处理的场景，除通过docker system prune清理外，也可通过docker rmi的命令进行清理。除此之外，还有常见的空间占用场景，如json.log文件过大。当容器运行一段时间后，容器的控制台日志输出过大的时候，会导致一个以容器ID-json命名的Log文件，持续增大，一般是在/var/lib/docker/containers/目录下，可以通过如下命令查看json.log占用

ls -lh $(find /var/lib/docker/containers/ -name *-json.log)
-rw-r----- 1 root root    0 Dec 27 14:22 /var/lib/docker/containers/021451de5bbaf2ac68839d4b9f3a4605be673d4286b3963ee2bddb1a3d01b6d2/021451de5bbaf2ac68839d4b9f3a4605be673d4286b3963ee2bddb1a3d01b6d2-json.log
-rw-r----- 1 root root  81K Dec 27 16:27 /var/lib/docker/containers/0413a938fff4603b9d898b680ba16b11b02a7cac25ddfaea318c15f1398668fd/0413a938fff4603b9d898b680ba16b11b02a7cac25ddfaea318c15f1398668fd-json.log
-rw-r----- 1 root root  113 Dec 21 21:44 /var/lib/docker/containers/1e6fb2c4f4bc9afeff1406c2c7f4a48e162c3b8075aef6e67871c942232b2fbe/1e6fb2c4f4bc9afeff1406c2c7f4a48e162c3b8075aef6e67871c942232b2fbe-json.log
-rw-r----- 1 root root  26K Dec 27 14:21 /var/lib/docker/containers/283e6cfc3f9e52ffb5dfd26386d910010a6f14e2304d28c244c9010b3396f2aa/283e6cfc3f9e52ffb5dfd26386d910010a6f14e2304d28c244c9010b3396f2aa-json.log
-rw-r----- 1 root root 7.6K Dec 27 16:27 /var/lib/docker/containers/338ee505e76965f6636c229f437fe30018acd24c94e3aab9eec2fd3dffe67d29/338ee505e76965f6636c229f437fe30018acd24c94e3aab9eec2fd3dffe67d29-json.log

解决方案有3种

简单处理：

echo '' > /var/lib/docker/containers/容器id-json.log

运行服务时指定json log大小及数量

# 参数：--log-opt max-size=200m --log-opt max-file=3 
docker run -it --log-opt max-size=200m --log-opt max-file=3 nginx

全局配置

vim  /etc/docker/daemon.json
{
    "log-driver":"json-file",
    "log-opts":{
        "max-size" :"200m","max-file":"3"
    }
}
 
systemctl daemon-reload
systemctl restart docker

3.3 Local Volumnes占用分析及解决

Local Volumnes占用空间大，相对来说比较少遇到的一种场景，像镜像和json.log占用的情况，比较常见。

docker system df 
TYPE            TOTAL     ACTIVE    SIZE      RECLAIMABLE
Images          42        20        10.81GB   4.265GB (39%)
Containers      64        39        1.358GB   200.3MB (14%)
Local Volumes   7         4         64.9GB   232.7MB (0.3%)
Build Cache     0         0         0B        0B

从命令可以看出，Local Volumnes占用超过60GB，可释放空间只有232MB，因此通过命令：docker system prune清理也只能释放232MB的空间占用。
解决方案
思路：
查看Local Volumes占用明细->查找关联的容器ID->清理对应容器->完成空间占用清理

# 通过参数-v查看详细的空间占用
docker system df -v
*** ***
Local Volumes space usage:
 
VOLUME NAME                                                        LINKS     SIZE
13cb48964bd5f5b2154687cd2ec9d948c03183c778a131021d7a078251e327fc   1         77.58MB
0c6f791c44f9e18c414df127effeb03bcd4e3d3f00a1da9520b1f79308d5d4b4   0         77.58MB
7995d23375e56221438cca64ddd9f0a799c6492cf28ea4cf8689fa3f6ca6d0b2   2         77.58MB
c742d23648db19b93a731d6861864f7fc90ec22bfd3aeaa73c811fe587126777   1         77.58MB
b60f3956f0d502f163e47806b2bfe6d8e1ad3fe555d1a01c86541708ec5277ff   1         0B
fc52cd72fa393c8cbe92b90de2d5e555d5a7cee725871ff729a1941fadfe942d   1         62.22GB
86cff21c7b3690e94548a94e5e87428761d3887f0a62abbd85ddf1b15684dbd8   0         77.58MB
0ebc98b7d24962a968acb73ae65abd9b1e846098ba4f7d68f09c8d163cedd12e   0         77.58MB
 
Build cache usage: 0B
 
CACHE ID   CACHE TYPE   SIZE      CREATED   LAST USED   USAGE     SHARED

可以看出磁盘占用主要是：fc52cd72fa393c8cbe92b90de2d5e555d5a7cee725871ff729a1941fadfe942d，因此，要查看此卷相关联的容器ID

# 编写py脚本
import os
volumn = "fc52cd72fa393c8cbe92b90de2d5e555d5a7cee725871ff729a1941fadfe942d"
names = [line.split(" ")[-1] for line in os.popen("docker ps -a").read().split("\n") if line ]
print([name for name in names[1:] if volumn in os.popen("docker inspect %s"%name).read()])
 
# 执行脚本
python volumn.py
# 返回结果如下
['collection-687df56967-z5t6f']
找到相关联的容器后，判断容器运行着什么，内容是否可清理

4. 总结

在日常使用中，安装docker后做好优化配置工作，如配置json log大小及文件限制，定期清理无用的容器和镜像，可以减少docker 空间占用导致宿主机磁盘空间不够导致的各种问题。当遇到以上措施无法处理的情况的时候，要灵活使用docker system df -v的命令进行故障排查分析。希望这个能帮到各位，有用就点个关注和收藏吧~

到此这篇关于k8s 与docker空间使用分析与清理的文章就介绍到这了,更多相关k8s 与docker空间使用内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！