xming521
55fdfe2520
新增vllm_args配置，更新测试模型参数配置，允许自定义测试数据路径。
2025-06-13 18:27:24 +08:00
xming521
9ae5f3a376
更新版本号至0.2.24；在CLI中添加配置文件路径选项，支持设置WECLONE_CONFIG_PATH环境变量
2025-06-13 17:37:23 +08:00
xming521
e239893884
feat(tests): 添加测试模型参数配置，允许自定义测试集文件
2025-06-13 15:49:02 +08:00
xming521
45a579716f
fix ci
2025-06-13 12:05:29 +08:00
xming521
53fc844403
refactor(config): 移除configV2，整合配置加载逻辑至config.py，更新相关引用
2025-06-13 12:02:27 +08:00
小铭
bca3240999
Merge pull request #156 from BAIKEMARK/img-rec
...
feat(dataset): integrate vision API and refactor clean strategy
2025-06-13 11:12:21 +08:00
BAIKEMARK
db13823330
Merge remote-tracking branch 'myfork/img-rec' into img-rec-a
2025-06-13 10:30:34 +08:00
BAIKEMARK
6f465d356a
refactor(train_sft): 移除无需显式设置的配置项
2025-06-13 10:23:08 +08:00
Mark
2ac3d17efe
Merge branch 'master' into img-rec
2025-06-12 23:37:52 +08:00
BAIKEMARK
1f485599e5
UPDATE README
2025-06-12 23:25:37 +08:00
BAIKEMARK
f3f0b61ad9
更新setting模板
2025-06-12 20:34:01 +08:00
BAIKEMARK
f3e9efc6fc
refactor(data): 重构数据清洗逻辑并更新评估标准
2025-06-12 19:45:00 +08:00
小铭
a1afe78bae
Merge pull request #153 from xming521/dev
...
- Rewrite the entire settings-related functionality using pydantic
- add an image modality test script
- Unified dataset : chat-sft.
- Pure text model fine-tuning data switched to ShareGPT format, defaulting to carrying chat history context
- Upgrade dependencies to support qwen3
2025-06-12 15:01:24 +08:00
xming521
31d4340cb2
更新pyproject.toml，升级vllm版本至0.8.5.post1，添加triton依赖，并设置torch-backend为auto。
2025-06-12 14:50:23 +08:00
BAIKEMARK
9f4a8f60a0
feat(data): 支持图像识别并优化数据清洗流程
...
- 新增 VisionApiConfig 类用于配置视觉 API
- 在数据处理中集成图像识别功能，支持并行处理
- 重构数据清洗策略，支持在线和离线两种方式- 优化数据清洗流程，提高可扩展性和可维护性
2025-06-12 13:13:57 +08:00
xming521
4df64be831
fix text cleandata，add 风格代表性。
2025-06-12 11:37:58 +08:00
xming521
386bf5d8d9
fix log
2025-06-11 21:50:59 +08:00
xming521
6e1903ced6
修改数据集名称为chat-sft， 纯文字模型微调数据切换到sharegpt格式。
2025-06-11 15:34:27 +08:00
xming521
6bf9b5a80f
优化include_type和adapter_name_or_path的处理。
2025-06-11 12:41:56 +08:00
小铭
fcd4e879ab
Merge branch 'master' into dev
2025-06-11 12:20:28 +08:00
xming521
8fd6adbcc1
Merge branch 'dev' of https://github.com/xming521/WeClone into dev
2025-06-11 12:19:50 +08:00
xming521
894edb9d9d
注释掉bandit安全检查的配置。
2025-06-11 12:08:51 +08:00
pre-commit-ci[bot]
d006cc1ae1
🎈 auto fixes by pre-commit hooks
2025-06-11 04:03:36 +00:00
xming521
c77cdee043
修改full_pipe.jsonc和full_pipeV2.jsonc中的数据处理配置，调整train_sft.py和qa_generatorV2.py中的配置加载方式，更新config_models.py和configV2.py以支持新的配置结构。
2025-06-11 11:57:55 +08:00
xming521
94b6e4ac92
更新测试文件以支持图像数据集的创建和复制功能。
2025-06-10 22:12:39 +08:00
xming521
247383e4f3
更新版本号至0.2.23，添加依赖omegaconf，增加pydantic驱动的configV2。
2025-06-10 17:31:34 +08:00
小铭
6416f74f10
Merge pull request #149 from xming521/dev
...
Add pre-commit, format code with ruff, update .gitignore, update pyproject.toml, update README.md.
2025-06-09 14:52:07 +08:00
pre-commit-ci[bot]
cf30258091
🎈 auto fixes by pre-commit hooks
2025-06-09 03:27:38 +00:00
xming521
247920fe00
更新.gitignore，更新pyproject.toml,添加pre-commit，更新README.md。
2025-06-09 11:26:14 +08:00
小铭
d41a806dc9
Merge pull request #148 from xming521/xming521-patch-8
...
Update README.md
2025-06-08 20:21:12 +08:00
小铭
3798fae701
Update README.md
2025-06-08 20:20:49 +08:00
小铭
bbd856dbb6
Merge pull request #147 from xming521/xming521-patch-7
...
Rename Telegram Release Notification to tg_release_notification.yml
2025-06-08 12:08:39 +08:00
小铭
01a3ec4c24
Rename Telegram Release Notification to tg_release_notification.yml
2025-06-08 12:08:22 +08:00
小铭
474352b30f
Merge pull request #146 from xming521/xming521-patch-6
...
Create Telegram Release Notification
2025-06-08 12:05:21 +08:00
小铭
d16e9abf2e
Create Telegram Release Notification
2025-06-08 12:05:07 +08:00
小铭
dc09602864
Merge pull request #142 from xming521/dev
...
Support image modality chat history fine-tuning
2025-06-06 21:39:44 +08:00
xming521
b5b661154d
更新README.md。
2025-06-06 21:38:32 +08:00
xming521
3842932cab
更新README.md；调整mllm模板中的训练参数。
2025-06-06 20:52:44 +08:00
xming521
cccd2fe87b
Update dependencies
2025-06-03 23:05:09 +08:00
xming521
48f0ed3465
更新pyproject.toml，更新README.md。
2025-06-03 22:34:44 +08:00
xming521
8c20c1a689
更新pyproject.toml。
2025-06-03 21:31:59 +08:00
xming521
f7fc362dc6
更新README.md。
2025-06-03 19:46:50 +08:00
xming521
18af67104d
更新README.md；在cli.py中根据配置动态选择数据处理器。
2025-06-02 10:04:08 +08:00
xming521
2a868a1314
更新README.md
2025-06-01 22:57:55 +08:00
xming521
4a614800ca
修改wechat_parser.py以支持命令行参数传递微信个人文件夹路径并优化图片复制功能。
2025-06-01 20:22:23 +08:00
xming521
a703188a4e
Merge remote-tracking branch 'origin/master' into dev
2025-06-01 18:52:46 +08:00
xming521
1e52a20ef0
在mllm模板中添加enable_thinking配置项，默认为false。
2025-06-01 18:52:23 +08:00
小铭
94aa25bdea
Merge pull request #140 from xming521/xming521-patch-5
...
Update settings.template.jsonc
2025-06-01 10:12:10 +08:00
小铭
cc27876139
Update settings.template.jsonc
2025-06-01 10:11:58 +08:00
xming521
a12a0671f0
更新pyproject.toml中的transformers版本，添加accelerate依赖；在mllm模板中增加media_dir和image_max_pixels配置；优化qa_generatorV2.py中的数据处理逻辑以支持image_max_pixels参数；更新length_cdf函数以支持image_max_pixels参数。
2025-05-31 22:19:01 +08:00
xming521