10 Commits

Author	SHA1	Message	Date
xming521	53fc844403	refactor(config): 移除configV2，整合配置加载逻辑至config.py，更新相关引用	2025-06-13 12:02:27 +08:00
BAIKEMARK	9f4a8f60a0	feat(data): 支持图像识别并优化数据清洗流程 ... - 新增 VisionApiConfig 类用于配置视觉 API - 在数据处理中集成图像识别功能，支持并行处理 - 重构数据清洗策略，支持在线和离线两种方式- 优化数据清洗流程，提高可扩展性和可维护性	2025-06-12 13:13:57 +08:00
xming521	c77cdee043	修改full_pipe.jsonc和full_pipeV2.jsonc中的数据处理配置，调整train_sft.py和qa_generatorV2.py中的配置加载方式，更新config_models.py和configV2.py以支持新的配置结构。	2025-06-11 11:57:55 +08:00
pre-commit-ci[bot]	cf30258091	🎈 auto fixes by pre-commit hooks	2025-06-09 03:27:38 +00:00
BAIKEMARK	7cd7740d5e	完善clean_by_score逻辑并将其整合至strategies	2025-05-24 10:50:52 +08:00
BAIKEMARK	5fa391f55e	修改clean策略使llm打分结果保留	2025-05-23 20:16:34 +08:00
xming521	6500b3f8a1	更新README.md，添加DeepWiki链接并修改测试结果描述；在train_sft.py中增加日志记录微调配置。	2025-05-10 15:30:28 +08:00
xming521	6ecf2c8144	添加计算cutoff_len	2025-04-26 21:03:10 +08:00
xming521	545f266bc5	fix history 模板使用	2025-04-26 19:08:32 +08:00
xming521	10c6890795	重构项目	2025-04-21 20:30:55 +08:00