From d966e8490be5a0ce7d830bf248de7699ced502d1 Mon Sep 17 00:00:00 2001
From: xming521 <1223398803@qq.com>
Date: Wed, 7 May 2025 21:49:46 +0800
Subject: [PATCH] =?UTF-8?q?=E6=9B=B4=E6=96=B0README.md=E3=80=82?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
README.md | 18 +++++++++---------
1 file changed, 9 insertions(+), 9 deletions(-)
diff --git a/README.md b/README.md
index 0e0394f..ab82ef3 100644
--- a/README.md
+++ b/README.md
@@ -21,10 +21,10 @@
## 📋特性与说明
> [!IMPORTANT]
-> 0.2.0版本进行了全面重构,数据集目录和脚本路径全部进行了修改,拉取新代码后,`csv`文件夹放在`dataset`下,并且需要重新安装依赖。
+> ## 0.2.1版本支持了命令行工具,使用前需要重新执行 `uv pip install -e .`
> [!IMPORTANT]
->
0.2.1版本支持了命令行工具,使用前需要重新执行 `uv pip install -e .`。
+> 0.2.0版本进行了全面重构,数据集目录和脚本路径全部进行了修改,拉取新代码后,`csv`文件夹放在`dataset`下,并且需要重新安装依赖。
> [!IMPORTANT]
> - WeClone仍在快速迭代期,当前效果不代表最终效果。
@@ -83,7 +83,7 @@ python -c "import torch; print('CUDA是否可用:', torch.cuda.is_available());"
- 项目默认去除了数据中的手机号、身份证号、邮箱、网址。还提供了一个禁用词词库[blocked_words](dataset/blocked_words.json),可以自行添加需要过滤的词句(会默认去掉包括禁用词的整句)。
- 执行以下命令对数据进行处理,可以根据自己的聊天风格修改settings.jsonc的`make_dataset_args`。
```bash
-weclone make-dataset
+weclone-cli make-dataset
```
- 目前仅支持时间窗口策略,根据`single_combine_time_window`将单人连续消息通过逗号连接合并为一句,根据`qa_match_time_window`匹配问答对。后续将增加大模型清洗数据的功能。
@@ -102,7 +102,7 @@ git clone https://www.modelscope.cn/Qwen/Qwen2.5-7B-Instruct.git
#### 单卡训练
```bash
-weclone train-sft
+weclone-cli train-sft
```
#### 多卡训练
@@ -115,20 +115,20 @@ deepspeed --num_gpus=使用显卡数量 weclone/train/train_sft.py
### 使用浏览器demo简单推理
可以在这一步测试出合适的temperature、top_p值,修改settings.jsonc的`infer_args`后,供后续推理时使用。
```bash
-weclone webchat-demo
+weclone-cli webchat-demo
```
### 使用接口进行推理
```bash
-weclone server
+weclone-cli server
```
### 使用常见聊天问题测试
有些答案比较抽象,主要原因是训练数据没有覆盖,后续通过RAG来解决。测试结果在test_result-my.txt。
```bash
-weclone server
-weclone test-model
+weclone-cli server
+weclone-cli test-model
```
### 微调效果
使用Qwen2.5-14B-Instruct模型,大概3万条处理后的有效数据,loss降到了3.5左右的效果。
@@ -150,7 +150,7 @@ weclone test-model
使用步骤:
1. 部署 AstrBot
2. 在 AstrBot 中部署消息平台
-3. 执行 `weclone server` 启动api服务
+3. 执行 `weclone-cli server` 启动api服务
4. 在 AstrBot 中新增服务提供商,类型选择OpenAI,API Base URL 根据AstrBot部署方式填写(例如docker部署可能为http://172.17.0.1:8005/v1) ,模型填写gpt-3.5-turbo,API Key随意填写一个
5. 微调后不支持工具调用,请先关掉默认的工具,消息平台发送指令: `/tool off all`,否则会没有微调后的效果。
6. 根据微调时使用的default_system,在 AstrBot 中设置系统提示词。