mirror of
https://github.com/datawhalechina/self-llm.git
synced 2026-08-30 17:48:29 +08:00
Merge pull request #349 from anine09/master
增加DeepSeek-R1-Distill-Qwen的教程
This commit is contained in:
不要葱姜蒜
@@ -0,0 +1,192 @@
|
||||
# DeepSeek-R1-Distill-Qwen-7B FastApi 部署调用
|
||||
|
||||
## 环境准备
|
||||
|
||||
本文基础环境如下：
|
||||
|
||||
```
|
||||
----------------
|
||||
ubuntu 22.04
|
||||
python 3.12
|
||||
cuda 12.1
|
||||
pytorch 2.3.0
|
||||
----------------
|
||||
```
|
||||
|
||||
> 本文默认学习者已安装好以上 Pytorch(cuda) 环境，如未安装请自行安装。
|
||||
|
||||
首先 `pip` 换源加速下载并安装依赖包
|
||||
|
||||
```shell
|
||||
# 升级pip
|
||||
python -m pip install --upgrade pip
|
||||
# 更换 pypi 源加速库的安装
|
||||
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
|
||||
|
||||
pip install requests==2.32.3
|
||||
pip install fastapi==0.115.8
|
||||
pip install uvicorn==0.34.0
|
||||
pip install transformers==4.48.2
|
||||
pip install huggingface-hub==0.28.1
|
||||
pip install accelerate==1.3.0
|
||||
pip install modelscope==1.22.3
|
||||
```
|
||||
|
||||
> 考虑到部分同学配置环境可能会遇到一些问题，我们在AutoDL平台准备了DeepSeek-R1-Distill-Qwen-7B的环境镜像，点击下方链接并直接创建Autodl示例即可。
|
||||
> ***https://www.codewithgpu.com/i/datawhalechina/self-llm/DeepSeek-R1-Distill-self-llm***
|
||||
|
||||
## 模型下载
|
||||
|
||||
使用 `modelscope` 中的 `snapshot_download` 函数下载模型，第一个参数为模型名称，参数 `cache_dir` 为模型的下载路径。
|
||||
|
||||
新建 `model_download.py` 文件并在其中输入以下内容，粘贴代码后请及时保存文件，如下图所示。并运行 `python model_download.py` 执行下载。
|
||||
|
||||
```python
|
||||
from modelscope import snapshot_download
|
||||
|
||||
model_dir = snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-7B', cache_dir='/root/autodl-tmp', revision='master')
|
||||
```
|
||||
|
||||
> 注意：记得修改 `cache_dir` 为你的模型下载路径哦~
|
||||
|
||||
## 代码准备
|
||||
|
||||
新建 `api.py` 文件并在其中输入以下内容，粘贴代码后请及时保存文件。以下代码有很详细的注释，大家如有不理解的地方，欢迎提出 issue 。
|
||||
|
||||
```python
|
||||
from fastapi import FastAPI, Request
|
||||
from transformers import AutoTokenizer, AutoModelForCausalLM
|
||||
import uvicorn
|
||||
import json
|
||||
import datetime
|
||||
import torch
|
||||
import re
|
||||
|
||||
# 设置设备参数
|
||||
DEVICE = "cuda" # 使用CUDA
|
||||
DEVICE_ID = "0" # CUDA设备ID，如果未设置则为空
|
||||
CUDA_DEVICE = f"{DEVICE}:{DEVICE_ID}" if DEVICE_ID else DEVICE # 组合CUDA设备信息
|
||||
|
||||
# 清理GPU内存函数
|
||||
def torch_gc():
|
||||
if torch.cuda.is_available(): # 检查是否可用CUDA
|
||||
with torch.cuda.device(CUDA_DEVICE): # 指定CUDA设备
|
||||
torch.cuda.empty_cache() # 清空CUDA缓存
|
||||
torch.cuda.ipc_collect() # 收集CUDA内存碎片
|
||||
# 文本分割函数
|
||||
def split_text(text):
|
||||
pattern = re.compile(r'<think>(.*?)</think>(.*)', re.DOTALL) # 定义正则表达式模式
|
||||
match = pattern.search(text) # 匹配 <think>思考过程</think>回答
|
||||
|
||||
if match: # 如果匹配到思考过程
|
||||
think_content = match.group(1).strip() # 获取思考过程
|
||||
answer_content = match.group(2).strip() # 获取回答
|
||||
else:
|
||||
think_content = "" # 如果没有匹配到思考过程，则设置为空字符串
|
||||
answer_content = text.strip() # 直接返回回答
|
||||
|
||||
return think_content, answer_content
|
||||
|
||||
# 创建FastAPI应用
|
||||
app = FastAPI()
|
||||
|
||||
# 处理POST请求的端点
|
||||
@app.post("/")
|
||||
async def create_item(request: Request):
|
||||
global model, tokenizer # 声明全局变量以便在函数内部使用模型和分词器
|
||||
json_post_raw = await request.json() # 获取POST请求的JSON数据
|
||||
json_post = json.dumps(json_post_raw) # 将JSON数据转换为字符串
|
||||
json_post_list = json.loads(json_post) # 将字符串转换为Python对象
|
||||
prompt = json_post_list.get('prompt') # 获取请求中的提示
|
||||
|
||||
messages = [
|
||||
{"role": "user", "content": prompt}
|
||||
]
|
||||
|
||||
# 调用模型进行对话生成
|
||||
input_ids = tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True)
|
||||
model_inputs = tokenizer([input_ids], return_tensors="pt").to(model.device)
|
||||
generated_ids = model.generate(model_inputs.input_ids,max_new_tokens=8192) # 思考需要输出更多的Token数，设为8K
|
||||
generated_ids = [
|
||||
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
|
||||
]
|
||||
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
|
||||
think_content, answer_content = split_text(response) # 调用split_text函数，分割思考过程和回答
|
||||
now = datetime.datetime.now() # 获取当前时间
|
||||
time = now.strftime("%Y-%m-%d %H:%M:%S") # 格式化时间为字符串
|
||||
# 构建响应JSON
|
||||
answer = {
|
||||
"response": response,
|
||||
"think": think_content,
|
||||
"answer": answer_content,
|
||||
"status": 200,
|
||||
"time": time
|
||||
}
|
||||
# 构建日志信息
|
||||
log = f"[{time}], prompt:\"{prompt}\", response:\"{repr(response)}\", think:\"{think_content}\", answer:\"{answer_content}\""
|
||||
print(log) # 打印日志
|
||||
torch_gc() # 执行GPU内存清理
|
||||
return answer # 返回响应
|
||||
|
||||
# 主函数入口
|
||||
if __name__ == '__main__':
|
||||
# 加载预训练的分词器和模型
|
||||
model_name_or_path = '/root/autodl-tmp/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B'
|
||||
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=False)
|
||||
model = AutoModelForCausalLM.from_pretrained(model_name_or_path, device_map=CUDA_DEVICE, torch_dtype=torch.bfloat16)
|
||||
|
||||
# 启动FastAPI应用
|
||||
# 用6006端口可以将autodl的端口映射到本地，从而在本地使用api
|
||||
uvicorn.run(app, host='0.0.0.0', port=6006, workers=1) # 在指定端口和主机上启动应用
|
||||
```
|
||||
|
||||
> 注意：记得修改 `model_name_or_path` 为你的模型下载路径哦~
|
||||
|
||||
## Api 部署
|
||||
|
||||
在终端输入以下命令启动api服务：
|
||||
|
||||
```shell
|
||||
cd /root/autodl-tmp
|
||||
python api.py
|
||||
# or
|
||||
python /root/autodl-tmp/api.py
|
||||
```
|
||||
|
||||
加载完毕后出现如下信息说明成功。
|
||||
|
||||
|
||||
|
||||
默认部署在 6006 端口，通过 POST 方法进行调用，可以使用 curl 调用，如下所示：
|
||||
|
||||
```shell
|
||||
curl -X POST "http://127.0.0.1:6006" \
|
||||
-H 'Content-Type: application/json' \
|
||||
-d '{"prompt": "请简要说明，把大象放进冰箱分为几步？"}'
|
||||
```
|
||||
|
||||
|
||||
|
||||
也可以使用 python 中的 requests 库进行调用，如下所示：
|
||||
|
||||
```python
|
||||
import requests
|
||||
import json
|
||||
|
||||
def get_completion(prompt):
|
||||
headers = {'Content-Type': 'application/json'}
|
||||
data = {"prompt": prompt}
|
||||
response = requests.post(url='http://127.0.0.1:6006', headers=headers, data=json.dumps(data))
|
||||
return response.json()['response']
|
||||
|
||||
if __name__ == '__main__':
|
||||
print(get_completion('请简要说明，把大象放进冰箱分为几步？'))
|
||||
```
|
||||
|
||||
得到的返回值如下所示：
|
||||
|
||||
```json
|
||||
{'response': '<think>\n好，用户想要了解如何将大象放进冰箱。首先，大象非常重，通常超过几吨，这远远超过了冰箱的容量。冰箱通常只有几立方英尺，所以直接放进冰箱里是不可能的。首先需要考虑大象的体重和形状，然后拆分大象，比如分成几只小象，再分装进冰箱。另外，还需要考虑冰箱的容量是否足够，是否有其他工具可以辅助装箱。最后，确保大象安全，安全措施很重要。这样一步步来，就能解决大象放进冰箱的问题了。\n</think>\n\n将大象放进冰箱需要分步骤进行，具体如下：\n\n1. **评估大象的重量和形状**：大象通常非常重，超过几吨，而冰箱的容量通常只有几立方英尺，因此直接将大象放进冰箱是不可能的。\n\n2. **拆分大象**：将大象拆分为多个较小的部分，比如分成几只小象或分多个箱子里装大象。这种分拆方法可以逐步将大象放进冰箱。\n\n3. **分装大象**：将拆分后的大象部分逐一放入冰箱中，逐步将大象装入冰箱，确保大象安全。\n\n4. **检查冰箱容量**：确保冰箱的容量足够容纳大象，如果有其他工具可以辅助装箱，可以考虑使用。\n\n5. **安全措施**：确保大象在装箱过程中安全，避免意外情况发生。\n\n通过以上步骤，可以逐步将大象放进冰箱。', 'think': '好，用户想要了解如何将大象放进冰箱。首先，大象非常重，通常超过几吨，这远远超过了冰箱的容量。冰箱通常只有几立方英尺，所以直接放进冰箱里是不可能的。首先需要考虑大象的体重和形状，然后拆分大象，比如分成几只小象，再分装进冰箱。另外，还需要考虑冰箱的容量是否足够，是否有其他工具可以辅助装箱。最后，确保大象安全，安全措施很重要。这样一步步来，就能解决大象放进冰箱的问题了。', 'answer': '将大象放进冰箱需要分步骤进行，具体如下：\n\n1. **评估大象的重量和形状**：大象通常非常重，超过几吨，而冰箱的容量通常只有几立方英尺，因此直接将大象放进冰箱是不可能的。\n\n2. **拆分大象**：将大象拆分为多个较小的部分，比如分成几只小象或分多个箱子里装大象。这种分拆方法可以逐步将大象放进冰箱。\n\n3. **分装大象**：将拆分后的大象部分逐一放入冰箱中，逐步将大象装入冰箱，确保大象安全。\n\n4. **检查冰箱容量**：确保冰箱的容量足够容纳大象，如果有其他工具可以辅助装箱，可以考虑使用。\n\n5. **安全措施**：确保大象在装箱过程中安全，避免意外情况发生。\n\n通过以上步骤，可以逐步将大象放进冰箱。', 'status': 200, 'time': '2025-02-02 09:53:01'}
|
||||
```
|
||||
|
||||
|
||||
@@ -0,0 +1,136 @@
|
||||
# DeepSeek-R1-Distill-Qwen-7B Langchain 接入
|
||||
|
||||
## 环境准备
|
||||
|
||||
本文基础环境如下：
|
||||
|
||||
```
|
||||
----------------
|
||||
ubuntu 22.04
|
||||
python 3.12
|
||||
cuda 12.1
|
||||
pytorch 2.3.0
|
||||
----------------
|
||||
```
|
||||
|
||||
> 本文默认学习者已安装好以上 Pytorch(cuda) 环境，如未安装请自行安装。
|
||||
|
||||
pip 换源加速下载并安装依赖包
|
||||
|
||||
```shell
|
||||
# 升级pip
|
||||
python -m pip install --upgrade pip
|
||||
# 更换 pypi 源加速库的安装
|
||||
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
|
||||
|
||||
pip install transformers==4.48.2
|
||||
pip install huggingface-hub==0.28.1
|
||||
pip install accelerate==1.3.0
|
||||
pip install modelscope==1.22.3
|
||||
pip install langchain==0.3.17
|
||||
```
|
||||
|
||||
> 考虑到部分同学配置环境可能会遇到一些问题，我们在AutoDL平台准备了Qwen2.5的环境镜像，点击下方链接并直接创建Autodl示例即可。
|
||||
> ***https://www.codewithgpu.com/i/datawhalechina/self-llm/DeepSeek-R1-Distill-self-llm***
|
||||
|
||||
## 模型下载
|
||||
|
||||
使用 `modelscope` 中的 `snapshot_download` 函数下载模型，第一个参数为模型名称，参数 `cache_dir` 为模型的下载路径。
|
||||
|
||||
在新建 `model_download.py` 文件并在其中输入以下内容，粘贴代码后记得保存文件，如下图所示。并运行 `python model_download.py` 执行下载。
|
||||
|
||||
```python
|
||||
from modelscope import snapshot_download
|
||||
|
||||
model_dir = snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-7B', cache_dir='/root/autodl-tmp', revision='master')
|
||||
```
|
||||
|
||||
> 注意：记得修改 `cache_dir` 为你的模型下载路径哦~
|
||||
|
||||
## 代码准备
|
||||
|
||||
为便捷构建 `LLM` 应用，我们需要基于本地部署的 `DeepSeek_R1_Distill_Qwen_LLM`，自定义一个 `LLM` 类，将 `DeepSeek R1 Distill` 接入到 `LangChain` 框架中。完成自定义 `LLM` 类之后，可以以完全一致的方式调用 `LangChain` 的接口，而无需考虑底层模型调用的不一致。
|
||||
|
||||
基于本地部署的 `DeepSeek R1 Distill` 自定义 `LLM` 类并不复杂，我们只需从 `LangChain.llms.base.LLM` 类继承一个子类，并重写构造函数与 `_call` 函数即可：
|
||||
|
||||
在当前路径新建一个 `LLM.py` 文件，并输入以下内容，粘贴代码后记得保存文件。
|
||||
|
||||
```python
|
||||
from langchain.llms.base import LLM
|
||||
from typing import Any, List, Optional
|
||||
from langchain.callbacks.manager import CallbackManagerForLLMRun
|
||||
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
|
||||
import torch
|
||||
|
||||
class DeepSeek_R1_Distill_Qwen_LLM(LLM):
|
||||
# 基于本地 DeepSeek_R1_Distill_Qwen 自定义 LLM 类
|
||||
tokenizer: AutoTokenizer = None
|
||||
model: AutoModelForCausalLM = None
|
||||
|
||||
def __init__(self, mode_name_or_path :str):
|
||||
|
||||
super().__init__()
|
||||
print("正在从本地加载模型...")
|
||||
self.tokenizer = AutoTokenizer.from_pretrained(mode_name_or_path, use_fast=False)
|
||||
self.model = AutoModelForCausalLM.from_pretrained(mode_name_or_path, torch_dtype=torch.bfloat16, device_map="auto")
|
||||
self.model.generation_config = GenerationConfig.from_pretrained(mode_name_or_path)
|
||||
print("完成本地模型的加载")
|
||||
|
||||
def _call(self, prompt : str, stop: Optional[List[str]] = None,
|
||||
run_manager: Optional[CallbackManagerForLLMRun] = None,
|
||||
**kwargs: Any):
|
||||
|
||||
messages = [{"role": "user", "content": prompt }]
|
||||
input_ids = self.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
|
||||
model_inputs = self.tokenizer([input_ids], return_tensors="pt").to('cuda')
|
||||
generated_ids = self.model.generate(model_inputs.input_ids, attention_mask=model_inputs['attention_mask'], max_new_tokens=8192) # 思考需要输出更多的Token数，设为8K
|
||||
generated_ids = [
|
||||
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
|
||||
]
|
||||
response = self.tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
|
||||
|
||||
return response
|
||||
@property
|
||||
def _llm_type(self) -> str:
|
||||
return "DeepSeek_R1_Distill_Qwen_LLM"
|
||||
```
|
||||
|
||||
在上述类定义中，我们分别重写了构造函数和 `_call` 函数：对于构造函数，我们在对象实例化的一开始加载本地部署的 `DeepSeek R1 Distill` 模型，从而避免每一次调用都需要重新加载模型带来的时间过长；`_call` 函数是 `LLM` 类的核心函数，`LangChain` 会调用该函数来调用 `LLM`，在该函数中，我们调用已实例化模型的 `generate` 方法，从而实现对模型的调用并返回调用结果。
|
||||
|
||||
在整体项目中，我们将上述代码封装为 `LLM.py`，后续将直接从该文件中引入自定义的 LLM 类。
|
||||
|
||||
## 调用
|
||||
|
||||
然后就可以像使用任何其他的langchain大模型功能一样使用了。
|
||||
|
||||
> 注意：记得修改模型路径为你的路径哦~
|
||||
|
||||
```python
|
||||
from LLM import DeepSeek_R1_Distill_Qwen_LLM
|
||||
import re
|
||||
|
||||
# 文本分割函数
|
||||
def split_text(text):
|
||||
pattern = re.compile(r'<think>(.*?)</think>(.*)', re.DOTALL) # 定义正则表达式模式
|
||||
match = pattern.search(text) # 匹配 <think>思考过程</think>回答
|
||||
|
||||
if match: # 如果匹配到思考过程
|
||||
think_content = match.group(1).strip() # 获取思考过程
|
||||
answer_content = match.group(2).strip() # 获取回答
|
||||
else:
|
||||
think_content = "" # 如果没有匹配到思考过程，则设置为空字符串
|
||||
answer_content = text.strip() # 直接返回回答
|
||||
|
||||
return think_content, answer_content
|
||||
|
||||
llm = DeepSeek_R1_Distill_Qwen_LLM(mode_name_or_path = "/root/autodl-tmp/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B")
|
||||
|
||||
response = llm("我如何为我学习Python制定目标？")
|
||||
think, answer = split_text(response) # 调用split_text函数，分割思考过程和回答
|
||||
print(f"{"-"*20}思考{"-"*20}")
|
||||
print(think) # 输出思考
|
||||
print(f"{"-"*20}回答{"-"*20}")
|
||||
print(answer) # 输出回答
|
||||
```
|
||||
|
||||
|
||||
@@ -0,0 +1,144 @@
|
||||
# DeepSeek-R1-Distill-Qwen-7B WebDemo 部署
|
||||
|
||||
## 环境准备
|
||||
|
||||
```
|
||||
----------------
|
||||
ubuntu 22.04
|
||||
python 3.12
|
||||
cuda 12.1
|
||||
pytorch 2.3.0
|
||||
----------------
|
||||
```
|
||||
|
||||
> 本文默认学习者已安装好以上 Pytorch(cuda) 环境，如未安装请自行安装。
|
||||
|
||||
pip 换源加速下载并安装依赖包
|
||||
|
||||
```shell
|
||||
# 升级 pip
|
||||
python -m pip install --upgrade pip
|
||||
# 更换 pypi 源加速库的安装
|
||||
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
|
||||
|
||||
pip install transformers==4.48.2
|
||||
pip install accelerate==1.3.0
|
||||
pip install modelscope==1.22.3
|
||||
pip install streamlit==1.41.1
|
||||
```
|
||||
|
||||
> 考虑到部分同学配置环境可能会遇到一些问题，我们在 AutoDL 平台准备了 Qwen2.5 的环境镜像，点击下方链接并直接创建 Autodl 示例即可。
|
||||
> ***https://www.codewithgpu.com/i/datawhalechina/self-llm/DeepSeek-R1-Distill-self-llm***
|
||||
|
||||
## 模型下载
|
||||
|
||||
使用 modelscope 中的 snapshot_download 函数下载模型，第一个参数为模型名称，参数 cache_dir 为模型的下载路径。
|
||||
|
||||
在 /root/autodl-tmp 路径下新建 download.py 新建 `model_download.py` 文件并在其中输入以下内容，粘贴代码后记得保存文件。并运行 `python /root/autodl-tmp/model_download.py` 执行下载。
|
||||
|
||||
```python
|
||||
from modelscope import snapshot_download
|
||||
|
||||
model_dir = snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-7B', cache_dir='/root/autodl-tmp', revision='master')
|
||||
```
|
||||
|
||||
> 注意：记得修改 `cache_dir` 为你的模型下载路径哦~
|
||||
|
||||
## 代码准备
|
||||
|
||||
在 `/root/autodl-tmp`路径下新建 `chatBot.py` 文件并在其中输入以下内容，粘贴代码后记得保存文件。下面的代码有很详细的注释，大家如有不理解的地方，欢迎提出 issue。
|
||||
|
||||
```python
|
||||
from transformers import AutoTokenizer, AutoModelForCausalLM
|
||||
import torch
|
||||
import streamlit as st
|
||||
import re
|
||||
|
||||
# 在侧边栏中创建一个标题和一个链接
|
||||
with st.sidebar:
|
||||
st.markdown("## DeepSeek-R1-Distill-Qwen-7B LLM")
|
||||
"[开源大模型食用指南 self-llm](https://github.com/datawhalechina/self-llm.git)"
|
||||
# 创建一个滑块，用于选择最大长度，范围在 0 到 8192 之间，默认值为 8192（DeepSeek-R1-Distill-Qwen-7B 支持 128K 上下文，并能生成最多 8K tokens，我们推荐设为 8192，因为思考需要输出更多的Token数）
|
||||
max_length = st.slider("max_length", 0, 8192, 8192, step=1)
|
||||
|
||||
# 创建一个标题和一个副标题
|
||||
st.title("💬 DeepSeek R1 Distill Chatbot")
|
||||
st.caption("🚀 A streamlit chatbot powered by Self-LLM")
|
||||
|
||||
# 定义模型路径
|
||||
mode_name_or_path = '/root/autodl-tmp/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B'
|
||||
|
||||
# 文本分割函数
|
||||
def split_text(text):
|
||||
pattern = re.compile(r'<think>(.*?)</think>(.*)', re.DOTALL) # 定义正则表达式模式
|
||||
match = pattern.search(text) # 匹配 <think>思考过程</think>回答
|
||||
|
||||
if match: # 如果匹配到思考过程
|
||||
think_content = match.group(1).strip() # 获取思考过程
|
||||
answer_content = match.group(2).strip() # 获取回答
|
||||
else:
|
||||
think_content = "" # 如果没有匹配到思考过程，则设置为空字符串
|
||||
answer_content = text.strip() # 直接返回回答
|
||||
|
||||
return think_content, answer_content
|
||||
|
||||
# 定义一个函数，用于获取模型和 tokenizer
|
||||
@st.cache_resource
|
||||
def get_model():
|
||||
# 从预训练的模型中获取 tokenizer
|
||||
tokenizer = AutoTokenizer.from_pretrained(mode_name_or_path, trust_remote_code=True)
|
||||
tokenizer.pad_token = tokenizer.eos_token
|
||||
# 从预训练的模型中获取模型，并设置模型参数
|
||||
model = AutoModelForCausalLM.from_pretrained(mode_name_or_path, torch_dtype=torch.bfloat16, device_map="auto")
|
||||
|
||||
return tokenizer, model
|
||||
|
||||
# 加载 Qwen2.5 的 model 和 tokenizer
|
||||
tokenizer, model = get_model()
|
||||
|
||||
# 如果 session_state 中没有 "messages"，则创建一个包含默认消息的列表
|
||||
if "messages" not in st.session_state:
|
||||
st.session_state["messages"] = [{"role": "assistant", "content": "有什么可以帮您的？"}]
|
||||
|
||||
# 遍历 session_state 中的所有消息，并显示在聊天界面上
|
||||
for msg in st.session_state.messages:
|
||||
st.chat_message(msg["role"]).write(msg["content"])
|
||||
|
||||
# 如果用户在聊天输入框中输入了内容，则执行以下操作
|
||||
if prompt := st.chat_input():
|
||||
|
||||
# 在聊天界面上显示用户的输入
|
||||
st.chat_message("user").write(prompt)
|
||||
|
||||
# 将用户输入添加到 session_state 中的 messages 列表中
|
||||
st.session_state.messages.append({"role": "user", "content": prompt})
|
||||
|
||||
# 将对话输入模型，获得返回
|
||||
input_ids = tokenizer.apply_chat_template(st.session_state.messages,tokenize=False,add_generation_prompt=True)
|
||||
model_inputs = tokenizer([input_ids], return_tensors="pt").to('cuda')
|
||||
generated_ids = model.generate(model_inputs.input_ids,max_new_tokens=max_length)
|
||||
generated_ids = [
|
||||
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
|
||||
]
|
||||
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
|
||||
think_content, answer_content = split_text(response) # 调用split_text函数，分割思考过程和回答
|
||||
# 将模型的输出添加到 session_state 中的 messages 列表中
|
||||
st.session_state.messages.append({"role": "assistant", "content": response})
|
||||
# 在聊天界面上显示模型的输出
|
||||
with st.expander("模型思考过程"):
|
||||
st.write(think_content) # 展示模型思考过程
|
||||
st.chat_message("assistant").write(answer_content) # 输出模型回答
|
||||
# print(st.session_state) # 打印 session_state 调试
|
||||
```
|
||||
|
||||
## 运行 demo
|
||||
|
||||
在终端中运行以下命令，启动 streamlit 服务，`server.port` 可以更换端口
|
||||
|
||||
```bash
|
||||
streamlit run /root/autodl-tmp/chatBot.py --server.address 127.0.0.1 --server.port 6006
|
||||
```
|
||||
|
||||
在本地浏览器中打开链接 http://localhost:6006/ ，即可查看部署的 `WebDemo` 聊天界面。运行效果如下：
|
||||
|
||||
|
||||
Binary file not shown.
|
After Width: | Height: | Size: 62 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 853 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 267 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 1.2 MiB |
Binary file not shown.
|
After Width: | Height: | Size: 1.4 MiB |
Binary file not shown.
|
After Width: | Height: | Size: 759 KiB |
@@ -0,0 +1,3 @@
|
||||
DeepSeek-R1-Zero是一个通过大规模强化学习（RL）训练的模型，没有监督微调（SFT）作为初步步骤，在推理方面表现出色。通过RL，DeepSeek-R1-Zero自然地出现了许多强大而有趣的推理行为。然而，DeepSeek-R1-Zero遇到了诸如无休止的重复、可读性差和语言混合等挑战。为了解决这些问题并进一步提高推理性能，我们引入了DeepSeek-R1，它在强化学习之前整合了冷启动数据。DeepSeek-R2在数学、代码和推理任务方面的性能与OpenAI-o1相当。为了支持研究界，DeepSeek开源了DeepSeek-R1-Zero、DeepSeek-R1，以及基于Llama和Qwen从DeepSeek-R2中提取的六个密集模型。DeepSeek-R1-Distill-Qwen-32B在各种基准测试中表现优于OpenAI-o1-mini，为密集模型实现了最新的最先进结果。
|
||||
|
||||
|
||||
Reference in New Issue
Block a user