其它综合

关注公众号 jb51net

关闭
首页 > 网络编程 > 其它综合 > 本地部署 torchchat

本地部署 torchchat的详细过程

作者：engchina

TorchChat 是一个小型代码库,展示了无缝运行大型语言模型 （LLMs） 的能力,使用 torchchat,您可以在自己的 （C/C++） 应用程序（桌面或服务器）以及 iOS 和 Android 上使用 Python 运行LLMs,这篇文章主要介绍了本地部署 torchchat,需要的朋友可以参考下

本地部署 torchchat

0. 引言

TorchChat 是一个小型代码库，展示了无缝运行大型语言模型 （LLMs） 的能力。使用 torchchat，您可以在自己的 （C/C++） 应用程序（桌面或服务器）以及 iOS 和 Android 上使用 Python 运行LLMs。

1. 本地部署

1-1. 创建虚拟环境

conda create -n torchchat python=3.12 -y
conda activate torchchat

1-2. 克隆代码

git clone https://github.com/pytorch/torchchat.git

1-3. 安装依赖模块

./install_requirements.sh

(20240816时点)我的wls-ubuntu环境会报以下错误，

+ python scripts/patch_triton.py
/mnt/e/workspace/torchchat/scripts/patch_triton.py:20: SyntaxWarning: invalid escape sequence '\s'
  new_match = 'self.src = self.src[re.search(r"^def\s+\w+\s*\(", self.src, re.MULTILINE).start():]'

临时解决方法，

vi /mnt/e/workspace/torchchat/scripts/patch_triton.py
---
# new_match = 'self.src = self.src[re.search(r"^def\s+\w+\s*\(", self.src, re.MULTILINE).start():]'
new_match = r'self.src = self.src[re.search(r"^def\s+\w+\s*\(", self.src, re.MULTILINE).start():]'
---

重新运行，

./install_requirements.sh

1-4. 下载模型

登录 Hugging Face，完成此操作后，torchchat 将能够从 Hugging Face 下载模型工件。

huggingface-cli login

查看现在支持的模型，

# python3 torchchat.py list
Model                                   Aliases                                     Downloaded
--------------------------------------- ------------------------------------------- -----------
meta-llama/llama-2-7b-hf                llama2-base, llama2-7b
meta-llama/llama-2-7b-chat-hf           llama2, llama2-chat, llama2-7b-chat
meta-llama/llama-2-13b-chat-hf          llama2-13b-chat
meta-llama/llama-2-70b-chat-hf          llama2-70b-chat
meta-llama/meta-llama-3-8b              llama3-base
meta-llama/meta-llama-3-8b-instruct     llama3, llama3-chat, llama3-instruct
meta-llama/meta-llama-3-70b-instruct    llama3-70b
meta-llama/meta-llama-3.1-8b            llama3.1-base
meta-llama/meta-llama-3.1-8b-instruct   llama3.1, llama3.1-chat, llama3.1-instruct  Yes
meta-llama/meta-llama-3.1-70b-instruct  llama3.1-70b
meta-llama/codellama-7b-python-hf       codellama, codellama-7b
meta-llama/codellama-34b-python-hf      codellama-34b
mistralai/mistral-7b-v0.1               mistral-7b-v01-base
mistralai/mistral-7b-instruct-v0.1      mistral-7b-v01-instruct
mistralai/mistral-7b-instruct-v0.2      mistral, mistral-7b, mistral-7b-instruct
openlm-research/open_llama_7b           open-llama, open-llama-7b
stories15m
stories42m
stories110m

下载模型，

python torchchat.py download llama3.1

1-5. 运行模型

python3 torchchat.py chat llama3.1

1-6. 使用 UI

此模式允许您使用浏览器中的 UI 与模型聊天：运行命令会自动在浏览器中打开一个选项卡。

streamlit run torchchat.py -- browser llama3.1

完结！

reference: https://github.com/pytorch/torchchat

到此这篇关于本地部署 torchchat的文章就介绍到这了,更多相关本地部署 torchchat内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

阅读全文