首页 > 网站技巧 > 服务器 > 云和虚拟化 > docker > docker 安装使用 ollama

docker安装并使用 ollama的步骤

2026-03-04 14:45:39 作者：赴前尘

文章介绍了如何通过Docker安装并使用Ollama,包括CPU和GPU启动方式,以及如何进入容器、通过API进行单轮和多轮对话,感兴趣的朋友跟随小编一起看看吧

启动 ollama

1. CPU 方式启动

docker run -itd --name ollama -v ~/.ollama:/root/.ollama -p 11434:11434 ollama/ollama

2. GPU 方式启动

docker run -itd --name ollama --gpus=all -v ~/.ollama:/root/.ollama -p 11434:11434 ollama/ollama

启动模型

进入 ollama 容器

docker exec -it ollama /bin/bash

拉取 qwen2.5 大模型

ollama pull qwen2.5:0.5b

查看大模型列表

ollama list

对话

1. 进入容器，直接启动 qwen2.5 大模型，进行对话

docker exec -it ollama /bin/bash
ollama run qwen2.5:0.5b

2. 在宿主机通过 curl 和 ollama api 交互，进行单轮对话

curl http://localhost:11434/api/generate \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2.5:0.5b",
    "prompt": "用 Go 写一个 Gin 示例",
    "stream": false
  }'

3. 在宿主机通过 curl 和 ollama api 交互，进行多轮对话

curl http://localhost:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2.5:0.5b",
    "messages": [
      {"role": "user", "content": "你是谁？"},
      {"role": "assistant", "content": "我是 Qwen 模型"},
      {"role": "user", "content": "给我一个 Go Web 示例"}
    ],
    "stream": false
  }'

到此这篇关于docker 安装并使用 ollama的文章就介绍到这了,更多相关docker 安装使用 ollama内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！