From d966e8490be5a0ce7d830bf248de7699ced502d1 Mon Sep 17 00:00:00 2001 From: xming521 <1223398803@qq.com> Date: Wed, 7 May 2025 21:49:46 +0800 Subject: [PATCH] =?UTF-8?q?=E6=9B=B4=E6=96=B0README.md=E3=80=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- README.md | 18 +++++++++--------- 1 file changed, 9 insertions(+), 9 deletions(-) diff --git a/README.md b/README.md index 0e0394f..ab82ef3 100644 --- a/README.md +++ b/README.md @@ -21,10 +21,10 @@ ## 📋特性与说明 > [!IMPORTANT] -> 0.2.0版本进行了全面重构,数据集目录和脚本路径全部进行了修改,拉取新代码后,`csv`文件夹放在`dataset`下,并且需要重新安装依赖。 +> ## 0.2.1版本支持了命令行工具,使用前需要重新执行 `uv pip install -e .` > [!IMPORTANT] ->

0.2.1版本支持了命令行工具,使用前需要重新执行 `uv pip install -e .`。

+> 0.2.0版本进行了全面重构,数据集目录和脚本路径全部进行了修改,拉取新代码后,`csv`文件夹放在`dataset`下,并且需要重新安装依赖。 > [!IMPORTANT] > - WeClone仍在快速迭代期,当前效果不代表最终效果。 @@ -83,7 +83,7 @@ python -c "import torch; print('CUDA是否可用:', torch.cuda.is_available());" - 项目默认去除了数据中的手机号、身份证号、邮箱、网址。还提供了一个禁用词词库[blocked_words](dataset/blocked_words.json),可以自行添加需要过滤的词句(会默认去掉包括禁用词的整句)。 - 执行以下命令对数据进行处理,可以根据自己的聊天风格修改settings.jsonc的`make_dataset_args`。 ```bash -weclone make-dataset +weclone-cli make-dataset ``` - 目前仅支持时间窗口策略,根据`single_combine_time_window`将单人连续消息通过逗号连接合并为一句,根据`qa_match_time_window`匹配问答对。后续将增加大模型清洗数据的功能。 @@ -102,7 +102,7 @@ git clone https://www.modelscope.cn/Qwen/Qwen2.5-7B-Instruct.git #### 单卡训练 ```bash -weclone train-sft +weclone-cli train-sft ``` #### 多卡训练 @@ -115,20 +115,20 @@ deepspeed --num_gpus=使用显卡数量 weclone/train/train_sft.py ### 使用浏览器demo简单推理 可以在这一步测试出合适的temperature、top_p值,修改settings.jsonc的`infer_args`后,供后续推理时使用。 ```bash -weclone webchat-demo +weclone-cli webchat-demo ``` ### 使用接口进行推理 ```bash -weclone server +weclone-cli server ``` ### 使用常见聊天问题测试 有些答案比较抽象,主要原因是训练数据没有覆盖,后续通过RAG来解决。测试结果在test_result-my.txt。 ```bash -weclone server -weclone test-model +weclone-cli server +weclone-cli test-model ``` ### 微调效果 使用Qwen2.5-14B-Instruct模型,大概3万条处理后的有效数据,loss降到了3.5左右的效果。 @@ -150,7 +150,7 @@ weclone test-model 使用步骤: 1. 部署 AstrBot 2. 在 AstrBot 中部署消息平台 -3. 执行 `weclone server` 启动api服务 +3. 执行 `weclone-cli server` 启动api服务 4. 在 AstrBot 中新增服务提供商,类型选择OpenAI,API Base URL 根据AstrBot部署方式填写(例如docker部署可能为http://172.17.0.1:8005/v1) ,模型填写gpt-3.5-turbo,API Key随意填写一个 5. 微调后不支持工具调用,请先关掉默认的工具,消息平台发送指令: `/tool off all`,否则会没有微调后的效果。 6. 根据微调时使用的default_system,在 AstrBot 中设置系统提示词。