41167f6d29
fix(dataset): fix #192 standardize dataset naming and cleaning workflow
...
Refactors dataset management to consistently append '-vl' for vision-language
datasets and dynamically name cleaned datasets (e.g., 'dataset-cleaned').
Enforces vLLM as a strict dependency for LLM-based data cleaning, exiting if
unavailable. Integrates 'enable_thinking' option for LLM cleaning and enables
cleaning by default in relevant test configurations.
Adds torchvision dependency for vision models and streamlines the cleaning call
in training to centralize decision-making.
2025-08-16 22:51:29 +08:00
4c20fc900c
Update .gitkeep
2025-07-21 14:34:32 +08:00
73214f3217
chore(dataset): removes pt dataset info
...
Removes the dataset information file for the
Portuguese (pt) dataset. This file is no longer
needed.
2025-07-10 15:45:03 +08:00
c94f789868
更新README文档，替换测试数据路径为新的评估数据文件。
2025-06-29 20:27:52 +08:00
c9cf076fa9
更新.gitignore以支持多种图片格式，移除pyproject.toml中的清华源配置，并更新README.md以添加Telegram聊天记录导出说明及LangBot集成信息。
2025-06-20 16:30:01 +08:00
9f4a8f60a0
feat(data): 支持图像识别并优化数据清洗流程
...
- 新增 VisionApiConfig 类用于配置视觉 API
- 在数据处理中集成图像识别功能，支持并行处理
- 重构数据清洗策略，支持在线和离线两种方式- 优化数据清洗流程，提高可扩展性和可维护性
2025-06-12 13:13:57 +08:00
6e1903ced6
修改数据集名称为chat-sft， 纯文字模型微调数据切换到sharegpt格式。
2025-06-11 15:34:27 +08:00
6bf9b5a80f
优化include_type和adapter_name_or_path的处理。
2025-06-11 12:41:56 +08:00
c77cdee043
修改full_pipe.jsonc和full_pipeV2.jsonc中的数据处理配置，调整train_sft.py和qa_generatorV2.py中的配置加载方式，更新config_models.py和configV2.py以支持新的配置结构。
2025-06-11 11:57:55 +08:00
cf30258091
🎈 auto fixes by pre-commit hooks
2025-06-09 03:27:38 +00:00
7e4b0433f1
add QaPairV2
2025-05-27 23:07:17 +08:00
5c28bf084e
更新数据模型以支持ShareGPT格式，新增QaPairV2类和Message类，修改数据处理逻辑以支持图片消息，优化图片文件检查功能。
2025-05-25 23:23:58 +08:00
25c45b9103
修改dataset/test_data.json，增加对话内容并删除部分冗余问题。
2025-05-10 22:44:05 +08:00
a18e474720
禁用词配置改到settings.json。
2025-05-08 20:44:32 +08:00
b360606763
更新tests 和 dataset
2025-04-21 21:06:52 +08:00
xming521