c9cf076fa9
更新.gitignore以支持多种图片格式，移除pyproject.toml中的清华源配置，并更新README.md以添加Telegram聊天记录导出说明及LangBot集成信息。
2025-06-20 16:30:01 +08:00
e6d0ff9bb9
更新README.md，增加对图片模态数据微调的支持说明，并调整更新日志标题为“近期更新”。
2025-06-20 12:10:48 +08:00
f637498c35
Merge pull request #164 from xming521/dev
...
Dev
2025-06-20 10:47:11 +08:00
0dad9dcf83
Merge branch 'master' into dev
2025-06-20 10:46:46 +08:00
ec1b4f53c0
更新README.md，添加WeClone平台声明及模型训练效果描述的修改。
2025-06-20 10:43:29 +08:00
139b082510
更新README.md，增加了微调效果提示、问题解决建议及致谢部分。
2025-06-19 22:57:17 +08:00
1f091c4c3d
Merge pull request #162 from xming521/dev
...
fix tg ci
2025-06-19 21:13:04 +08:00
6e3b9b96da
fix tg ci
2025-06-19 21:12:28 +08:00
dda773a784
Merge pull request #161 from xming521/dev
...
- 更新torch版本至2.7.0，vllm版本到0.9.1，离线推理改为chat方式调用
- 添加`test_model_args` and `vllm_args`配置项，允许自定义测试集文件
- CLI中添加配置文件路径选项，支持设置WECLONE_CONFIG_PATH环境变量
- 更新数据清理策略中的max_new_tokens和enable_thinking参数以优化推理过程
- 部分功能适配qwen3
fix #158 ,#83, #77 , #69
2025-06-19 17:39:52 +08:00
39717abf02
更新README.md。
2025-06-19 17:22:32 +08:00
cb870d67bd
将torch依赖版本从2.7.1降级至2.7.0。
2025-06-19 16:50:29 +08:00
a8bde3f686
更新版本号至0.2.24，修改torch依赖版本至2.7.1，更新README.md。
2025-06-19 16:48:48 +08:00
bc121f030b
0.2.23 运行 weclone-cli server 报错
...
Fixes #158
2025-06-19 16:38:09 +08:00
01a5deb5fd
更新pyproject.toml中的triton依赖版本至3.3.0。
2025-06-14 22:26:18 +08:00
1f43e6325f
更新pyproject.toml中的torch版本至2.7.0，并将pytorch源从cu124更新至cu126。
2025-06-14 22:24:19 +08:00
f3c2fa6ef7
更新pyproject.toml中的vllm依赖版本至0.9.1；离线推理改为chat方式调用。
2025-06-14 21:38:35 +08:00
73fd179d08
Merge remote-tracking branch 'origin/master' into dev
2025-06-14 13:30:16 +08:00
534d265ac8
Update pyproject.toml
...
fix dependency
2025-06-14 12:45:43 +08:00
19e1fde810
更新数据清理策略中的max_new_tokens和enable_thinking参数以优化推理过程。
2025-06-14 11:40:31 +08:00
4ca715768e
新增enable_thinking参数以支持推理过程中的思考功能；更新repetition_penalty和max_new_tokens配置以优化数据清理策略。
2025-06-13 21:36:06 +08:00
55fdfe2520
新增vllm_args配置，更新测试模型参数配置，允许自定义测试数据路径。
2025-06-13 18:27:24 +08:00
9ae5f3a376
更新版本号至0.2.24；在CLI中添加配置文件路径选项，支持设置WECLONE_CONFIG_PATH环境变量
2025-06-13 17:37:23 +08:00
e239893884
feat(tests): 添加测试模型参数配置，允许自定义测试集文件
2025-06-13 15:49:02 +08:00
2defd5611e
Merge pull request #157 from xming521/dev
...
fix some bugs
2025-06-13 12:08:16 +08:00
45a579716f
fix ci
2025-06-13 12:05:29 +08:00
53fc844403
refactor(config): 移除configV2，整合配置加载逻辑至config.py，更新相关引用
2025-06-13 12:02:27 +08:00
bca3240999
Merge pull request #156 from BAIKEMARK/img-rec
...
feat(dataset): integrate vision API and refactor clean strategy
2025-06-13 11:12:21 +08:00
db13823330
Merge remote-tracking branch 'myfork/img-rec' into img-rec-a
2025-06-13 10:30:34 +08:00
6f465d356a
refactor(train_sft): 移除无需显式设置的配置项
2025-06-13 10:23:08 +08:00
2ac3d17efe
Merge branch 'master' into img-rec
2025-06-12 23:37:52 +08:00
1f485599e5
UPDATE README
2025-06-12 23:25:37 +08:00
f3f0b61ad9
更新setting模板
2025-06-12 20:34:01 +08:00
f3e9efc6fc
refactor(data): 重构数据清洗逻辑并更新评估标准
2025-06-12 19:45:00 +08:00
a1afe78bae
Merge pull request #153 from xming521/dev
...
- Rewrite the entire settings-related functionality using pydantic
- add an image modality test script
- Unified dataset : chat-sft.
- Pure text model fine-tuning data switched to ShareGPT format, defaulting to carrying chat history context
- Upgrade dependencies to support qwen3
2025-06-12 15:01:24 +08:00
31d4340cb2
更新pyproject.toml，升级vllm版本至0.8.5.post1，添加triton依赖，并设置torch-backend为auto。
2025-06-12 14:50:23 +08:00
9f4a8f60a0
feat(data): 支持图像识别并优化数据清洗流程
...
- 新增 VisionApiConfig 类用于配置视觉 API
- 在数据处理中集成图像识别功能，支持并行处理
- 重构数据清洗策略，支持在线和离线两种方式- 优化数据清洗流程，提高可扩展性和可维护性
2025-06-12 13:13:57 +08:00
4df64be831
fix text cleandata，add 风格代表性。
2025-06-12 11:37:58 +08:00
386bf5d8d9
fix log
2025-06-11 21:50:59 +08:00
6e1903ced6
修改数据集名称为chat-sft， 纯文字模型微调数据切换到sharegpt格式。
2025-06-11 15:34:27 +08:00
6bf9b5a80f
优化include_type和adapter_name_or_path的处理。
2025-06-11 12:41:56 +08:00
fcd4e879ab
Merge branch 'master' into dev
2025-06-11 12:20:28 +08:00
8fd6adbcc1
Merge branch 'dev' of https://github.com/xming521/WeClone into dev
2025-06-11 12:19:50 +08:00
894edb9d9d
注释掉bandit安全检查的配置。
2025-06-11 12:08:51 +08:00
d006cc1ae1
🎈 auto fixes by pre-commit hooks
2025-06-11 04:03:36 +00:00
c77cdee043
修改full_pipe.jsonc和full_pipeV2.jsonc中的数据处理配置，调整train_sft.py和qa_generatorV2.py中的配置加载方式，更新config_models.py和configV2.py以支持新的配置结构。
2025-06-11 11:57:55 +08:00
94b6e4ac92
更新测试文件以支持图像数据集的创建和复制功能。
2025-06-10 22:12:39 +08:00
247383e4f3
更新版本号至0.2.23，添加依赖omegaconf，增加pydantic驱动的configV2。
2025-06-10 17:31:34 +08:00
6416f74f10
Merge pull request #149 from xming521/dev
...
Add pre-commit, format code with ruff, update .gitignore, update pyproject.toml, update README.md.
2025-06-09 14:52:07 +08:00
cf30258091
🎈 auto fixes by pre-commit hooks
2025-06-09 03:27:38 +00:00
247920fe00
更新.gitignore，更新pyproject.toml,添加pre-commit，更新README.md。
2025-06-09 11:26:14 +08:00
xming521