Langchain开发环境部署及使用本地模型详解
作者：pingchuan3014
作为AI工程框架，LangChain实际是对LLM能力的扩展和补充。
如果把LLM比作人的大脑，LangChain则是人的躯干和四肢，协助LLM完成“思考”之外的“脏活累活”。
一、安装环境
1、创建并激活虚拟环境
创建名为 myLC 的虚拟环境
python -m venv myLC
激活虚拟环境
cd C:\Users\amdin myLC\Scripts\activate
也可采用conda做虚拟环境管理
2、安装核心库
- langchain (核心)
- langchain-openai (与OpenAI模型交互)
- langchain-core: 包含所有核心抽象和运行时逻辑（如 LLM, Chain, Runnable 等）
- langchain-community (社区维护的集成)
pip install langchain langchain-openai langchain-core langchain-community -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple
3、安装常用依赖
- tiktoken: OpenAI 用于计算文本 token 数量的工具。
- chromadb: 一个开源的向量数据库，用于存储文档嵌入向量。
- faiss-cpu: Facebook AI 开发的高效向量相似度搜索库。
- python-dotenv: 用于从 .env 文件中加载环境变量 (如 API 密钥)。
pip install tiktoken chromadb faiss-cpu python-dotenv -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple
4、验证开发环境
编写并执行test.py文件
import sys
import langchain
import openai
# 打印已安装库的版本
print(f"LangChain version: {langchain.__version__}")
print(f"OpenAI version: {openai.__version__}")
# 打印 Python 解释器版本
print(f"Python version: {sys.version}")
二、如何在 LangChain 中使用本地模型？
ChatOpenAI 这个类是专门为 OpenAI 官方 API 设计的集成。
它的工作原理是：
封装 API 请求：当你调用 chat_model.invoke(…) 时，ChatOpenAI 类会将你的输入（如问题、消息列表）格式化成符合 OpenAI API 规范的 JSON 数据。
发送网络请求：它通过网络将这个 JSON 数据发送到 OpenAI 的服务器。
接收并解析响应：OpenAI 的服务器在其强大的 GPU 集群上运行模型，生成回答后，将结果以 JSON 格式返回。ChatOpenAI 类接收这个响应，并将其解析成 LangChain 内部的数据结构（如 AIMessage）。
关键点在于：ChatOpenAI 是一个 “客户端” 或 “API 封装器”，它本身不包含任何模型的计算逻辑，所有的计算都发生在 OpenAI 的远程服务器上。 因此，它无法加载和执行你本地的模型文件。
那么如何在 LangChain 中使用本地模型？
要在 LangChain 中使用本地模型，你需要使用 LangChain 为本地模型推理框架提供的集成。
这些框架负责在你的本地机器（CPU 或 GPU）上加载和运行模型，而 LangChain 则提供一个统一的接口来调用它们。
1、使用vllm部署本地模型
#使用本机的18000端口，–model执行本地模型路径，–served-model-name为模型别名，方便后续langchain指定
python -m vllm.entrypoints.openai.api_server --model modelpath --host 0.0.0.0 --port 18000 --served-model-name deepseek-r1-local
注：也可以使用ollma或者其它方式部署本地模型。
2、使用langchain进行推理
编写测试文件test_langchain.py
from langchain_openai import ChatOpenAI
# --- core cfg ---
# User ChatOpenAI Class obj，and configure it to point to DeepSeek's API
# 1. model_name: DeepSeek model name，
# 2. openai_api_base: DeepSeek API point，default is https://api.deepseek.com
# 3. openai_api_key: local mode need to set it to "none"
# 4. max_tokens: max token num
llm = ChatOpenAI(
model_name="deepseek-r1-localg",
openai_api_base="http://127.0.0.1:18000/v1/",
openai_api_key="none",
max_tokens=1024,
temperature=0.7
)
try:
print("Calling local DeepSeek-R1 model...")
response = llm.invoke("who are you ? and explain how you differ from OpenAI's GPT model?")
print("\n--- Local DeepSeek-R1 answer ---")
print(response.content)
print("------------------------")
except Exception as e:
print(f"Error: {e}")
执行test_langchain.py，即可看到终端打印的输出内容，至此langchain调用本地模型的开发环境准备完毕。
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。