xming521 247920fe00 更新.gitignore，更新pyproject.toml,添加pre-commit，更新README.md。

2025-06-09 11:26:14 +08:00

..

core/inference

实现在线LLM清洗数据

2025-05-22 20:04:45 +08:00

data

更新.gitignore，更新pyproject.toml,添加pre-commit，更新README.md。

2025-06-09 11:26:14 +08:00

eval

更新依赖项版本，提升torch和torchaudio至2.6.0，更新openai至1.52.0 相应更新test_model，调整pytorch源为cu124。

2025-04-29 22:47:02 +08:00

prompts

更新.gitignore，更新pyproject.toml,添加pre-commit，更新README.md。

2025-06-09 11:26:14 +08:00

server

支持cli

2025-04-26 22:02:09 +08:00

train

完善clean_by_score逻辑并将其整合至strategies

2025-05-24 10:50:52 +08:00

utils

更新pyproject.toml中的transformers版本，添加accelerate依赖；在mllm模板中增加media_dir和image_max_pixels配置；优化qa_generatorV2.py中的数据处理逻辑以支持image_max_pixels参数；更新length_cdf函数以支持image_max_pixels参数。

2025-05-31 22:19:01 +08:00

__init__.py

重构项目

2025-04-21 20:30:55 +08:00

cli.py

更新README.md。

2025-06-06 21:38:32 +08:00