09897a8daf
fix(dataset): Data processing results have no images.
2025-07-16 15:18:56 +08:00
785ad1472a
remove wechat
2025-07-16 11:21:11 +08:00
3e7892fc76
feat(infer): add retry mechanism to API calls
...
Adds retry logic for OpenAI and image description API calls
to improve resilience against transient errors and rate
limiting. Implements exponential backoff with configurable
parameters.
2025-07-10 19:29:23 +08:00
5f34b4561e
feat(dataset): adds option to include time
...
Adds a configuration option to include the current
datetime in the system prompt of the generated dataset.
This allows models to be aware of the temporal context
of the conversations.
2025-07-09 23:15:51 +08:00
f0476b05e7
feat(tg): add sticker parameter to include_type
...
Adds support for processing stickers in Telegram chat data.
- Includes 'sticker' as a valid DataModality.
- Allows the option to include sticker emojis as message content.
2025-07-06 10:38:28 +08:00
9a26852c55
更新README文档。
2025-07-02 10:53:10 +08:00
38113a2524
翻译注释日志为英文
2025-07-01 20:00:34 +08:00
c94f789868
更新README文档，替换测试数据路径为新的评估数据文件。
2025-06-29 20:27:52 +08:00
2f9cc52955
更新pyproject.toml以添加pip依赖；优化README文档，增强数据预处理说明；调整日志系统配置，支持从配置文件读取日志等级；重构PII检测器，简化代码并添加自定义识别器；更新数据处理逻辑以支持多语言和隐私过滤。
2025-06-27 23:05:45 +08:00
6df8c5cf2f
使用presidio进行隐私过滤 ; 添加语言支持配置；优化日志系统，hook标准logging到loguru。
2025-06-26 22:54:45 +08:00
b265edf2fc
更新依赖项，将commentjson替换为pyjson5；优化README文档，修正项目文档链接；添加聊天平台适配表格以支持不同平台的消息类型。
2025-06-26 15:10:09 +08:00
05c419c34b
优化Telegram解析器；重构配置模型，统一基类为BaseConfigModel，调整多个配置类以支持额外字段的处理策略。
2025-06-25 11:41:59 +08:00
43b22ce903
调整settings.template.jsonc以添加Telegram参数，更新数据处理逻辑以支持Telegram平台，优化数据模型以处理不同消息类型。
2025-06-23 18:06:55 +08:00
0ef327b4a5
更新配置文件，优化vllm_infer函数的参数传递逻辑。
2025-06-21 16:13:17 +08:00
3e0f08c7cb
🎈 auto fixes by pre-commit hooks
2025-06-21 03:21:06 +00:00
7066730201
优化vllm_infer函数，移除无用的guided_decoding参数，并在length_cdf.py中添加计算文本token长度的功能。
2025-06-21 11:20:23 +08:00
55fdfe2520
新增vllm_args配置，更新测试模型参数配置，允许自定义测试数据路径。
2025-06-13 18:27:24 +08:00
e239893884
feat(tests): 添加测试模型参数配置，允许自定义测试集文件
2025-06-13 15:49:02 +08:00
53fc844403
refactor(config): 移除configV2，整合配置加载逻辑至config.py，更新相关引用
2025-06-13 12:02:27 +08:00
6f465d356a
refactor(train_sft): 移除无需显式设置的配置项
2025-06-13 10:23:08 +08:00
9f4a8f60a0
feat(data): 支持图像识别并优化数据清洗流程
...
- 新增 VisionApiConfig 类用于配置视觉 API
- 在数据处理中集成图像识别功能，支持并行处理
- 重构数据清洗策略，支持在线和离线两种方式- 优化数据清洗流程，提高可扩展性和可维护性
2025-06-12 13:13:57 +08:00
6e1903ced6
修改数据集名称为chat-sft， 纯文字模型微调数据切换到sharegpt格式。
2025-06-11 15:34:27 +08:00
6bf9b5a80f
优化include_type和adapter_name_or_path的处理。
2025-06-11 12:41:56 +08:00
d006cc1ae1
🎈 auto fixes by pre-commit hooks
2025-06-11 04:03:36 +00:00
c77cdee043
修改full_pipe.jsonc和full_pipeV2.jsonc中的数据处理配置，调整train_sft.py和qa_generatorV2.py中的配置加载方式，更新config_models.py和configV2.py以支持新的配置结构。
2025-06-11 11:57:55 +08:00
247383e4f3
更新版本号至0.2.23，添加依赖omegaconf，增加pydantic驱动的configV2。
2025-06-10 17:31:34 +08:00
cf30258091
🎈 auto fixes by pre-commit hooks
2025-06-09 03:27:38 +00:00
a12a0671f0
更新pyproject.toml中的transformers版本，添加accelerate依赖；在mllm模板中增加media_dir和image_max_pixels配置；优化qa_generatorV2.py中的数据处理逻辑以支持image_max_pixels参数；更新length_cdf函数以支持image_max_pixels参数。
2025-05-31 22:19:01 +08:00
11b0e3fbd3
Update .gitignore to ignore the dataset/images directory, modify the transformers version in pyproject.toml, adjust the clean_dataset configuration in settings.template.jsonc, add media_dir to the mllm template, optimize data processing logic in qa_generatorV2.py and utils.py, update the length_cdf function to support the media_dir parameter.
2025-05-31 10:24:51 +08:00
7e4b0433f1
add QaPairV2
2025-05-27 23:07:17 +08:00
07662a3dc1
更新pyproject.toml以使用llamafactory的GitHub链接，修改settings.template.jsonc以更新模型路径和添加平台配置，增强数据处理逻辑以支持多语言切割类型，并在qa_generator.py中整合切割类型列表。
2025-05-24 23:24:26 +08:00
ed9d8e320e
Adjust the default values of lora_dropout and num_train_epochs, while applying a unified decorator in the CLI to support log capturing. Use an inelegant approach to print all terminal content to a file, enabled via full_log.
2025-05-21 21:57:12 +08:00
2db76b0968
在 qa_generator.py 中添加 vLLM 可用性检查并调整数据清洗逻辑；在 log.py 中设置日志级别为 INFO。
2025-05-17 23:04:56 +08:00
3bdcb3b8ac
fixi 多卡length_cdf。
2025-05-06 22:35:10 +08:00
810ca43f45
将配置文件名从settings.json更改为settings.jsonc
2025-05-03 14:50:22 +08:00
9827a24929
更新依赖项版本，提升torch和torchaudio至2.6.0，更新openai至1.52.0 相应更新test_model，调整pytorch源为cu124。
2025-04-29 22:47:02 +08:00
63fab6d20d
update
2025-04-26 21:17:38 +08:00
6ecf2c8144
添加计算cutoff_len
2025-04-26 21:03:10 +08:00
545f266bc5
fix history 模板使用
2025-04-26 19:08:32 +08:00
10c6890795
重构项目
2025-04-21 20:30:55 +08:00
xming521