更新README.md。

This commit is contained in:
xming521
2025-05-07 21:49:46 +08:00
parent 08b1640698
commit d966e8490b
+9 -9
View File
@@ -21,10 +21,10 @@
## 📋特性与说明
> [!IMPORTANT]
> 0.2.0版本进行了全面重构,数据集目录和脚本路径全部进行了修改,拉取新代码后,`csv`文件夹放在`dataset`下,并且需要重新安装依赖。
> ## 0.2.1版本支持了命令行工具,使用前需要重新执行 `uv pip install -e .`
> [!IMPORTANT]
> <h3>0.2.1版本支持了命令行工具,使用前需要重新执行 `uv pip install -e .`。</h3>
> 0.2.0版本进行了全面重构,数据集目录和脚本路径全部进行了修改,拉取新代码后,`csv`文件夹放在`dataset`下,并且需要重新安装依赖。
> [!IMPORTANT]
> - WeClone仍在快速迭代期,当前效果不代表最终效果。
@@ -83,7 +83,7 @@ python -c "import torch; print('CUDA是否可用:', torch.cuda.is_available());"
- 项目默认去除了数据中的手机号、身份证号、邮箱、网址。还提供了一个禁用词词库[blocked_words](dataset/blocked_words.json),可以自行添加需要过滤的词句(会默认去掉包括禁用词的整句)。
- 执行以下命令对数据进行处理,可以根据自己的聊天风格修改settings.jsonc的`make_dataset_args`
```bash
weclone make-dataset
weclone-cli make-dataset
```
- 目前仅支持时间窗口策略,根据`single_combine_time_window`将单人连续消息通过逗号连接合并为一句,根据`qa_match_time_window`匹配问答对。后续将增加大模型清洗数据的功能。
@@ -102,7 +102,7 @@ git clone https://www.modelscope.cn/Qwen/Qwen2.5-7B-Instruct.git
#### 单卡训练
```bash
weclone train-sft
weclone-cli train-sft
```
#### 多卡训练
@@ -115,20 +115,20 @@ deepspeed --num_gpus=使用显卡数量 weclone/train/train_sft.py
### 使用浏览器demo简单推理
可以在这一步测试出合适的temperature、top_p值,修改settings.jsonc的`infer_args`后,供后续推理时使用。
```bash
weclone webchat-demo
weclone-cli webchat-demo
```
### 使用接口进行推理
```bash
weclone server
weclone-cli server
```
### 使用常见聊天问题测试
有些答案比较抽象,主要原因是训练数据没有覆盖,后续通过RAG来解决。测试结果在test_result-my.txt。
```bash
weclone server
weclone test-model
weclone-cli server
weclone-cli test-model
```
### 微调效果
使用Qwen2.5-14B-Instruct模型,大概3万条处理后的有效数据,loss降到了3.5左右的效果。
@@ -150,7 +150,7 @@ weclone test-model
使用步骤:
1. 部署 AstrBot
2. 在 AstrBot 中部署消息平台
3. 执行 `weclone server` 启动api服务
3. 执行 `weclone-cli server` 启动api服务
4. 在 AstrBot 中新增服务提供商,类型选择OpenAIAPI Base URL 根据AstrBot部署方式填写(例如docker部署可能为http://172.17.0.1:8005/v1 ,模型填写gpt-3.5-turbo,API Key随意填写一个
5. 微调后不支持工具调用,请先关掉默认的工具,消息平台发送指令: `/tool off all`,否则会没有微调后的效果。
6. 根据微调时使用的default_system,在 AstrBot 中设置系统提示词。