在Ubuntu服务器上部署xinference流程
作者：你喜欢喝可乐吗？
文章主要介绍了如何拉取镜像、启动容器（特别是涉及GPU的容器）以及最终的访问步骤,并强调这些是个人经验总结,供参考
一、拉取镜像
docker pull xprobe/xinference:latest
二、启动容器（GPU）
docker run -d --name xinference -e XINFERENCE_MODEL_SRC=modelscope -p 9997:9997 --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0
# 启动一个新的Docker容器 docker run # 以分离（后台）模式运行容器 -d # 将容器命名为"xinference" --name xinference # 设置环境变量，指定Xinference的主目录为容器内的 -e XINFERENCE_MODEL_SRC=modelscope # 将容器的9997端口映射到主机的9997端口 -p 9997:9997 # 允许容器使用主机上的所有GPU资源 --gpus all # 使用最新版本的xprobe/xinference镜像 xprobe/xinference:latest # 在容器内运行xinference-local命令，并设置主机地址为0.0.0.0（允许从任何IP地址访问） xinference-local -H 0.0.0.0
三、访问
网址：http://localhost:9997
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。