xming521
bbe4a26197
Rename test_full_pipe.py
2025-07-06 10:51:52 +08:00
xming521
0bcf6bdd18
chore(tests): improve test environment setup
...
Refactors the test environment setup to use pytest fixtures
for session-level setup and teardown. This ensures a clean
and consistent environment before and after each test session.
It also improves the robustness by backing up and restoring
existing 'model_output' and 'dataset/csv' directories.
2025-07-06 10:50:50 +08:00
xming521
43b22ce903
调整settings.template.jsonc以添加Telegram参数，更新数据处理逻辑以支持Telegram平台，优化数据模型以处理不同消息类型。
2025-06-23 18:06:55 +08:00
xming521
bc121f030b
0.2.23 运行 weclone-cli server 报错
...
Fixes #158
2025-06-19 16:38:09 +08:00
xming521
55fdfe2520
新增vllm_args配置，更新测试模型参数配置，允许自定义测试数据路径。
2025-06-13 18:27:24 +08:00
xming521
e239893884
feat(tests): 添加测试模型参数配置，允许自定义测试集文件
2025-06-13 15:49:02 +08:00
xming521
53fc844403
refactor(config): 移除configV2，整合配置加载逻辑至config.py，更新相关引用
2025-06-13 12:02:27 +08:00
xming521
c77cdee043
修改full_pipe.jsonc和full_pipeV2.jsonc中的数据处理配置，调整train_sft.py和qa_generatorV2.py中的配置加载方式，更新config_models.py和configV2.py以支持新的配置结构。
2025-06-11 11:57:55 +08:00
xming521
94b6e4ac92
更新测试文件以支持图像数据集的创建和复制功能。
2025-06-10 22:12:39 +08:00
pre-commit-ci[bot]
cf30258091
🎈 auto fixes by pre-commit hooks
2025-06-09 03:27:38 +00:00
xming521
3842932cab
更新README.md；调整mllm模板中的训练参数。
2025-06-06 20:52:44 +08:00
xming521
47ce8833cc
fix tests
2025-05-22 21:05:49 +08:00
xming521
bbe16fda73
Add full-flow test pipeline
2025-05-22 20:05:22 +08:00
xming521
631c1731ed
重构vllm_infer.py以支持新的输入类型和引入引导解码参数，新增QaPairScore模型以支持评分功能，实现大模型对数据评分。
2025-05-04 22:52:09 +08:00
xming521
810ca43f45
将配置文件名从settings.json更改为settings.jsonc
2025-05-03 14:50:22 +08:00
xming521
20904b0202
更新vllm依赖版本至0.8.2
2025-05-01 19:39:15 +08:00
zym
3503d42d60
fix 语音消息提取
2025-04-24 22:49:44 +08:00
xming521
345c82cb05
更新README.md。
2025-04-23 21:04:20 +08:00
xming521
42fce46a9a
更新README.md以修正数据集路径说明，调整settings.json中的deepspeed配置注释，增强测试脚本中的Checkpoint检查逻辑，增加默认超时时间至45秒。
2025-04-22 21:26:58 +08:00
xming521
717b94c46b
修改pyproject.toml，更新README.md以修正WeClone-audio链接和增强说明，调整settings.json中的保存步骤和添加deepspeed配置。
2025-04-22 20:20:57 +08:00
xming521
b360606763
更新tests 和 dataset
2025-04-21 21:06:52 +08:00
xming521
f46b873f92
更新pyproject.toml以调整类型检查配置，修改README.md以改善数据预处理说明，重构settings.json以优化数据集参数，更新qa_generator.py以支持新的消息处理逻辑，删除旧的测试文件test_old_csv_to_json copy.py并更新相关测试用例。
2025-04-13 19:14:27 +08:00
xming521
055fb01792
更新pyproject.toml以添加pyright类型检查配置，修改settings.json以调整数据集参数，重构qa_generator.py以支持新的消息处理策略，优化数据处理逻辑，更新测试用例以适应新功能。
2025-04-13 15:27:00 +08:00
xming521
177267671a
清理未处理类型列表，移除对“粘贴的文本”的引用，并删除旧的测试文件test_old_qa.py以简化代码库。
2025-04-11 21:04:55 +08:00
xming521
d1925c9384
新增CutMessage类及相关处理逻辑，优化消息分组功能，更新数据处理流程以支持新类型消息。
2025-04-10 22:44:48 +08:00
xming521
019925f601
优化数据处理逻辑，重构消息合并功能。
2025-04-09 22:27:06 +08:00
xming521