diff --git a/models/Qwen2.5-Coder/02-Qwen2.5-7B-Instruct Langchain 接入.md b/models/Qwen2.5-Coder/02-Qwen2.5-7B-Instruct Langchain 接入.md index 6bbb608..8f7b022 100644 --- a/models/Qwen2.5-Coder/02-Qwen2.5-7B-Instruct Langchain 接入.md +++ b/models/Qwen2.5-Coder/02-Qwen2.5-7B-Instruct Langchain 接入.md @@ -2,11 +2,11 @@ ``` -# Qwen2.5-7B-Instruct Langchain +# Qwen2.5-7B-Instruct Langchain 接入 -## ׼ +## 环境准备 -Ļ£ +本文基础环境如下： ``` ---------------- @@ -17,14 +17,14 @@ pytorch 2.3.0 ---------------- ``` -> ĬѧϰѰװ Pytorch(cuda) δװаװ +> 本文默认学习者已安装好以上 Pytorch(cuda) 环境，如未安装请自行安装。 -pip Դزװ +pip 换源加速下载并安装依赖包 ```shell -# pip +# 升级pip python -m pip install --upgrade pip -# pypi Դٿİװ +# 更换 pypi 源加速库的安装 pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple pip install transformers==4.46.2 @@ -35,11 +35,11 @@ pip install accelerate==1.1.1 -## ģ +## 模型下载 -ʹ `modelscope` е `snapshot_download` ģͣһΪģƣ `cache_dir` Ϊģ͵· +使用 `modelscope` 中的 `snapshot_download` 函数下载模型，第一个参数为模型名称，参数 `cache_dir` 为模型的下载路径。 -½ `model_download.py` ļݣճǵñļͼʾ `python model_download.py` ִأģʹСΪ 16 GBģʹҪ 12 ӡ +在新建 `model_download.py` 文件并在其中输入以下内容，粘贴代码后记得保存文件，如下图所示。并运行 `python model_download.py` 执行下载，模型大小为 16 GB，下载模型大概需要 12 分钟。 ```python import torch @@ -48,15 +48,15 @@ import os model_dir = snapshot_download('Qwen/Qwen2.5-Coder-7B-Instruct', cache_dir='/root/autodl-tmp', revision='master') ``` -> ע⣺ǵ޸ `cache_dir` Ϊģ·Ŷ~ +> 注意：记得修改 `cache_dir` 为你的模型下载路径哦~ -## ׼ +## 代码准备 -Ϊݹ `LLM` ӦãҪڱز `Qwen2_5_Coder`Զһ `LLM` ࣬ `Qwen2.5-Coder` 뵽 `LangChain` СԶ `LLM` ֮󣬿ȫһµķʽ `LangChain` Ľӿڣ迼ǵײģ͵õIJһ¡ +为便捷构建 `LLM` 应用，我们需要基于本地部署的 `Qwen2_5_Coder`，自定义一个 `LLM` 类，将 `Qwen2.5-Coder` 接入到 `LangChain` 框架中。完成自定义 `LLM` 类之后，可以以完全一致的方式调用 `LangChain` 的接口，而无需考虑底层模型调用的不一致。 -ڱز `Qwen2_5_Coder` Զ `LLM` ಢӣֻ `LangChain.llms.base.LLM` ̳һ࣬д캯 `_call` ɣ +基于本地部署的 `Qwen2_5_Coder` 自定义 `LLM` 类并不复杂，我们只需从 `LangChain.llms.base.LLM` 类继承一个子类，并重写构造函数与 `_call` 函数即可： -ڵǰ·½һ `LLM.py` ļݣճǵñļ +在当前路径新建一个 `LLM.py` 文件，并输入以下内容，粘贴代码后记得保存文件。 ```python from langchain.llms.base import LLM @@ -66,17 +66,17 @@ from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig, import torch class Qwen2_5_Coder(LLM): - # ڱ Qwen2_5-Coder Զ LLM + # 基于本地 Qwen2_5-Coder 自定义 LLM 类 tokenizer: AutoTokenizer = None model: AutoModelForCausalLM = None def __init__(self, mode_name_or_path :str): super().__init__() - print("ڴӱؼģ...") + print("正在从本地加载模型...") self.tokenizer = AutoTokenizer.from_pretrained(mode_name_or_path, use_fast=False) self.model = AutoModelForCausalLM.from_pretrained(mode_name_or_path, torch_dtype=torch.bfloat16, device_map="auto") self.model.generation_config = GenerationConfig.from_pretrained(mode_name_or_path) - print("ɱģ͵ļ") + print("完成本地模型的加载") def _call(self, prompt : str, stop: Optional[List[str]] = None, run_manager: Optional[CallbackManagerForLLMRun] = None, @@ -96,34 +96,34 @@ class Qwen2_5_Coder(LLM): return "Qwen2_5_Coder" ``` -ඨУǷֱд˹캯 `_call` ڹ캯ڶʵһʼرز `Qwen2_5_Coder` `ģͣӶÿһεöҪ¼ģʹʱ_call` `LLM` ĺĺ`LangChain` øú `LLM`ڸúУǵʵģ͵ `generate` Ӷʵֶģ͵ĵòصý +在上述类定义中，我们分别重写了构造函数和 `_call` 函数：对于构造函数，我们在对象实例化的一开始加载本地部署的 `Qwen2_5_Coder` `模型，从而避免每一次调用都需要重新加载模型带来的时间过长；_call` 函数是 `LLM` 类的核心函数，`LangChain` 会调用该函数来调用 `LLM`，在该函数中，我们调用已实例化模型的 `generate` 方法，从而实现对模型的调用并返回调用结果。 -ĿУǽװΪ `LLM.py`ֱӴӸļԶ LLM ࡣ +在整体项目中，我们将上述代码封装为 `LLM.py`，后续将直接从该文件中引入自定义的 LLM 类。 -## +## 调用 -ȻͿʹκlangchainģ͹һʹˡ +然后就可以像使用任何其他的langchain大模型功能一样使用了。 -> ע⣺ǵ޸ģ·Ϊ·Ŷ~ +> 注意：记得修改模型路径为你的路径哦~ ```python from LLM import Qwen2_5_Coder llm = Qwen2_5_Coder(mode_name_or_path = "autodl-tmp/Qwen/Qwen2___5-Coder-7B-Instruct") -print(llm.invoke("˭")) +print(llm.invoke("你是谁")) ``` -£ +结果如下： ![](./images/02-1.png) -ȻCoderģͣȻҪд +既然是Coder模型，当然要试着让它编写代码 ```python -text = llm.invoke("Ϊpythonдһ򵥵IJȭСϷʤ") +text = llm.invoke("为我用python写一个简单的猜拳小游戏，三局两胜") print(text) ``` -£ +结果如下： ![](./images/02-2.png) -һδ룺 +我们试着运行一下这段代码： ![](./images/02-3.png) -ɹУ \ No newline at end of file +成功运行！ \ No newline at end of file