785ad1472a
remove wechat
2025-07-16 11:21:11 +08:00
f0476b05e7
feat(tg): add sticker parameter to include_type
...
Adds support for processing stickers in Telegram chat data.
- Includes 'sticker' as a valid DataModality.
- Allows the option to include sticker emojis as message content.
2025-07-06 10:38:28 +08:00
2b13b70b3e
更新README文档，添加Telegram数据导出说明，修改数据预处理配置说明，调整示例配置文件中的语言设置和参数
2025-07-01 21:35:58 +08:00
38113a2524
翻译注释日志为英文
2025-07-01 20:00:34 +08:00
c94f789868
更新README文档，替换测试数据路径为新的评估数据文件。
2025-06-29 20:27:52 +08:00
6df8c5cf2f
使用presidio进行隐私过滤 ; 添加语言支持配置；优化日志系统，hook标准logging到loguru。
2025-06-26 22:54:45 +08:00
e9b92aa189
更新版本号至0.3.0。
2025-06-25 13:12:32 +08:00
fc89b802a5
更新版本号至0.2.25，优化README文档，修正数据处理逻辑以支持Telegram平台，添加图像复制功能，改进消息类型处理。
2025-06-25 10:50:42 +08:00
12c055a9d1
更新README.md 和配置文件模板。
2025-06-20 22:32:59 +08:00
c9cf076fa9
更新.gitignore以支持多种图片格式，移除pyproject.toml中的清华源配置，并更新README.md以添加Telegram聊天记录导出说明及LangBot集成信息。
2025-06-20 16:30:01 +08:00
f3f0b61ad9
更新setting模板
2025-06-12 20:34:01 +08:00
6e1903ced6
修改数据集名称为chat-sft， 纯文字模型微调数据切换到sharegpt格式。
2025-06-11 15:34:27 +08:00
247383e4f3
更新版本号至0.2.23，添加依赖omegaconf，增加pydantic驱动的configV2。
2025-06-10 17:31:34 +08:00
cf30258091
🎈 auto fixes by pre-commit hooks
2025-06-09 03:27:38 +00:00
3842932cab
更新README.md；调整mllm模板中的训练参数。
2025-06-06 20:52:44 +08:00
2a868a1314
更新README.md
2025-06-01 22:57:55 +08:00
1e52a20ef0
在mllm模板中添加enable_thinking配置项，默认为false。
2025-06-01 18:52:23 +08:00
a12a0671f0
更新pyproject.toml中的transformers版本，添加accelerate依赖；在mllm模板中增加media_dir和image_max_pixels配置；优化qa_generatorV2.py中的数据处理逻辑以支持image_max_pixels参数；更新length_cdf函数以支持image_max_pixels参数。
2025-05-31 22:19:01 +08:00
11b0e3fbd3
Update .gitignore to ignore the dataset/images directory, modify the transformers version in pyproject.toml, adjust the clean_dataset configuration in settings.template.jsonc, add media_dir to the mllm template, optimize data processing logic in qa_generatorV2.py and utils.py, update the length_cdf function to support the media_dir parameter.
2025-05-31 10:24:51 +08:00
7bc76d57c9
更新mllm模板。
2025-05-30 11:39:26 +08:00
4d69b0c9b6
更新mllm模板以支持最大图片数量，优化数据处理逻辑。
2025-05-29 23:20:11 +08:00
7e4b0433f1
add QaPairV2
2025-05-27 23:07:17 +08:00
xming521