b8747edf27
fix: 量化配置未传递给 LLaMA-Factory 导致退化为全精度加载
...
- 新增 QuantizationArgs 配置类，与 LLaMA-Factory QuantizationArguments 对齐
- 移除 load_in_4bit/load_in_8bit（由 quantization_bit 内部处理）
- 新增 quantization_method 支持多种量化后端（bnb, gptq, awq 等）
- 修复 dict_to_argv 跳过 None 值，避免 HfArgumentParser 报错
- 使用 exclude_none=True 防止空字段传递给 run_exp()
- 训练和推理时自动展平嵌套的量化配置
2026-05-10 18:26:09 +08:00
41167f6d29
fix(dataset): fix #192 standardize dataset naming and cleaning workflow
...
Refactors dataset management to consistently append '-vl' for vision-language
datasets and dynamically name cleaned datasets (e.g., 'dataset-cleaned').
Enforces vLLM as a strict dependency for LLM-based data cleaning, exiting if
unavailable. Integrates 'enable_thinking' option for LLM cleaning and enables
cleaning by default in relevant test configurations.
Adds torchvision dependency for vision models and streamlines the cleaning call
in training to centralize decision-making.
2025-08-16 22:51:29 +08:00
38113a2524
翻译注释日志为英文
2025-07-01 20:00:34 +08:00
b265edf2fc
更新依赖项，将commentjson替换为pyjson5；优化README文档，修正项目文档链接；添加聊天平台适配表格以支持不同平台的消息类型。
2025-06-26 15:10:09 +08:00
05c419c34b
优化Telegram解析器；重构配置模型，统一基类为BaseConfigModel，调整多个配置类以支持额外字段的处理策略。
2025-06-25 11:41:59 +08:00
55fdfe2520
新增vllm_args配置，更新测试模型参数配置，允许自定义测试数据路径。
2025-06-13 18:27:24 +08:00
e239893884
feat(tests): 添加测试模型参数配置，允许自定义测试集文件
2025-06-13 15:49:02 +08:00
53fc844403
refactor(config): 移除configV2，整合配置加载逻辑至config.py，更新相关引用
2025-06-13 12:02:27 +08:00
9f4a8f60a0
feat(data): 支持图像识别并优化数据清洗流程
...
- 新增 VisionApiConfig 类用于配置视觉 API
- 在数据处理中集成图像识别功能，支持并行处理
- 重构数据清洗策略，支持在线和离线两种方式- 优化数据清洗流程，提高可扩展性和可维护性
2025-06-12 13:13:57 +08:00
d006cc1ae1
🎈 auto fixes by pre-commit hooks
2025-06-11 04:03:36 +00:00
cf30258091
🎈 auto fixes by pre-commit hooks
2025-06-09 03:27:38 +00:00
a12a0671f0
更新pyproject.toml中的transformers版本，添加accelerate依赖；在mllm模板中增加media_dir和image_max_pixels配置；优化qa_generatorV2.py中的数据处理逻辑以支持image_max_pixels参数；更新length_cdf函数以支持image_max_pixels参数。
2025-05-31 22:19:01 +08:00
7e4b0433f1
add QaPairV2
2025-05-27 23:07:17 +08:00
ed9d8e320e
Adjust the default values of lora_dropout and num_train_epochs, while applying a unified decorator in the CLI to support log capturing. Use an inelegant approach to print all terminal content to a file, enabled via full_log.
2025-05-21 21:57:12 +08:00
810ca43f45
将配置文件名从settings.json更改为settings.jsonc
2025-05-03 14:50:22 +08:00
6ecf2c8144
添加计算cutoff_len
2025-04-26 21:03:10 +08:00
545f266bc5
fix history 模板使用
2025-04-26 19:08:32 +08:00
10c6890795
重构项目
2025-04-21 20:30:55 +08:00
xhrxgr