1107500c41
chore: update dependencies and configuration
...
- Updated Python version requirement in `pyproject.toml` to 3.12.
- Adjusted dependency specifications for `llamafactory`, `torch`, `torchvision`, and `torchaudio` to include version constraints.
2026-01-04 16:15:15 +08:00
bbe08f0c77
feat(data): enhance chat member relationship handling in QA generation
...
- Updated the `qa_generator.py` to include a new mechanism for managing chat member relationships, allowing the addition of contextual information about the relationship between users in conversations.
- Refactored the CSV loading function to support loading user relationship data from a `users.json` file, improving the context provided during QA generation.
- Added a new configuration option `add_relation` to the dataset settings, enabling users to toggle this feature.
- Updated the `.gitignore` to exclude additional data directories and cache files for better repository hygiene.
- Bumped version to 0.3.03 in `pyproject.toml` to reflect these changes.
2025-11-01 17:11:26 +08:00
c384987b8a
fix: fix triton source from cuda129 to 126
2025-08-27 19:42:48 +08:00
41167f6d29
fix(dataset): fix #192 standardize dataset naming and cleaning workflow
...
Refactors dataset management to consistently append '-vl' for vision-language
datasets and dynamically name cleaned datasets (e.g., 'dataset-cleaned').
Enforces vLLM as a strict dependency for LLM-based data cleaning, exiting if
unavailable. Integrates 'enable_thinking' option for LLM cleaning and enables
cleaning by default in relevant test configurations.
Adds torchvision dependency for vision models and streamlines the cleaning call
in training to centralize decision-making.
2025-08-16 22:51:29 +08:00
1e8de85376
chore(config): Updates the project and configuration versions to 0.3.02.
...
This release introduces the ability to control the offline cleaning process through the `enable_thinking` configuration parameter.
2025-08-15 22:55:41 +08:00
cdef4213cf
chore(deps): update core dependencies
...
Upgrades openai, vllm, torch, transformers, and triton to their
latest versions. This ensures compatibility, incorporates recent bug
fixes, and leverages performance improvements across the project.
2025-08-15 16:46:32 +08:00
785ad1472a
remove wechat
2025-07-16 11:21:11 +08:00
c4fc9a867d
Fix Regarding deepspeed version#184
...
Updates the deepspeed installation command in the README files to specify a maximum version.
Also adds an example of downloading the default model using ModelScope in README_zh.md.
Finally, increments the project version to 0.3.01.
2025-07-08 16:48:07 +08:00
38113a2524
翻译注释日志为英文
2025-07-01 20:00:34 +08:00
2f9cc52955
更新pyproject.toml以添加pip依赖；优化README文档，增强数据预处理说明；调整日志系统配置，支持从配置文件读取日志等级；重构PII检测器，简化代码并添加自定义识别器；更新数据处理逻辑以支持多语言和隐私过滤。
2025-06-27 23:05:45 +08:00
b265edf2fc
更新依赖项，将commentjson替换为pyjson5；优化README文档，修正项目文档链接；添加聊天平台适配表格以支持不同平台的消息类型。
2025-06-26 15:10:09 +08:00
e9b92aa189
更新版本号至0.3.0。
2025-06-25 13:12:32 +08:00
fc89b802a5
更新版本号至0.2.25，优化README文档，修正数据处理逻辑以支持Telegram平台，添加图像复制功能，改进消息类型处理。
2025-06-25 10:50:42 +08:00
c9cf076fa9
更新.gitignore以支持多种图片格式，移除pyproject.toml中的清华源配置，并更新README.md以添加Telegram聊天记录导出说明及LangBot集成信息。
2025-06-20 16:30:01 +08:00
cb870d67bd
将torch依赖版本从2.7.1降级至2.7.0。
2025-06-19 16:50:29 +08:00
a8bde3f686
更新版本号至0.2.24，修改torch依赖版本至2.7.1，更新README.md。
2025-06-19 16:48:48 +08:00
01a5deb5fd
更新pyproject.toml中的triton依赖版本至3.3.0。
2025-06-14 22:26:18 +08:00
1f43e6325f
更新pyproject.toml中的torch版本至2.7.0，并将pytorch源从cu124更新至cu126。
2025-06-14 22:24:19 +08:00
f3c2fa6ef7
更新pyproject.toml中的vllm依赖版本至0.9.1；离线推理改为chat方式调用。
2025-06-14 21:38:35 +08:00
73fd179d08
Merge remote-tracking branch 'origin/master' into dev
2025-06-14 13:30:16 +08:00
534d265ac8
Update pyproject.toml
...
fix dependency
2025-06-14 12:45:43 +08:00
9ae5f3a376
更新版本号至0.2.24；在CLI中添加配置文件路径选项，支持设置WECLONE_CONFIG_PATH环境变量
2025-06-13 17:37:23 +08:00
31d4340cb2
更新pyproject.toml，升级vllm版本至0.8.5.post1，添加triton依赖，并设置torch-backend为auto。
2025-06-12 14:50:23 +08:00
247383e4f3
更新版本号至0.2.23，添加依赖omegaconf，增加pydantic驱动的configV2。
2025-06-10 17:31:34 +08:00
247920fe00
更新.gitignore，更新pyproject.toml,添加pre-commit，更新README.md。
2025-06-09 11:26:14 +08:00
cccd2fe87b
Update dependencies
2025-06-03 23:05:09 +08:00
48f0ed3465
更新pyproject.toml，更新README.md。
2025-06-03 22:34:44 +08:00
8c20c1a689
更新pyproject.toml。
2025-06-03 21:31:59 +08:00
a12a0671f0
更新pyproject.toml中的transformers版本，添加accelerate依赖；在mllm模板中增加media_dir和image_max_pixels配置；优化qa_generatorV2.py中的数据处理逻辑以支持image_max_pixels参数；更新length_cdf函数以支持image_max_pixels参数。
2025-05-31 22:19:01 +08:00
11b0e3fbd3
Update .gitignore to ignore the dataset/images directory, modify the transformers version in pyproject.toml, adjust the clean_dataset configuration in settings.template.jsonc, add media_dir to the mllm template, optimize data processing logic in qa_generatorV2.py and utils.py, update the length_cdf function to support the media_dir parameter.
2025-05-31 10:24:51 +08:00
07662a3dc1
更新pyproject.toml以使用llamafactory的GitHub链接，修改settings.template.jsonc以更新模型路径和添加平台配置，增强数据处理逻辑以支持多语言切割类型，并在qa_generator.py中整合切割类型列表。
2025-05-24 23:24:26 +08:00
9f59ec4261
更新版本号至0.2.22，添加微信图片复制功能，更新.gitignore以包含新目录
2025-05-24 15:32:37 +08:00
2bf7bcc9ce
编写配置文件更新日志
2025-05-22 21:43:25 +08:00
bbe16fda73
Add full-flow test pipeline
2025-05-22 20:05:22 +08:00
42585eb663
更新版本号至 0.2.21，并在离线推理中添加 GPU 内存利用率参数。
2025-05-18 22:28:51 +08:00
9604f352c9
更新 pyproject.toml 文件，添加了 vllm 依赖的 Linux 平台限制
2025-05-16 12:54:02 +08:00
c4caaa27f9
更新README.md。
2025-05-09 20:39:00 +08:00
fec538fea6
在pyproject.toml中添加langchain依赖，并在strategies.py中引入PromptTemplate以支持数据清洗功能的实现。
2025-05-03 22:57:36 +08:00
035d138d8d
更新pyproject.toml版本至0.2.2，优化vllm_infer函数以支持前缀缓存，调整qa_generator.py以处理结果并保存为JSON格式。
2025-05-01 23:04:37 +08:00
5fea291883
更新版本至0.2.2，增加llm清洗数据配置，更新README.md以添加HelloGitHub推荐链接，调整settings.template.json以支持数据清洗功能，增强cli.py以打印配置文件更新日志。
2025-05-01 20:51:27 +08:00
20904b0202
更新vllm依赖版本至0.8.2
2025-05-01 19:39:15 +08:00
9827a24929
更新依赖项版本，提升torch和torchaudio至2.6.0，更新openai至1.52.0 相应更新test_model，调整pytorch源为cu124。
2025-04-29 22:47:02 +08:00
ad39b21ca9
更新pyproject.toml以添加配置版本和更新日志，更新README.md，增强cli.py以检查项目根目录和版本一致性，配置文件改为模板提供。
2025-04-29 21:36:40 +08:00
2c9659611a
支持cli
2025-04-26 22:02:09 +08:00
717b94c46b
修改pyproject.toml，更新README.md以修正WeClone-audio链接和增强说明，调整settings.json中的保存步骤和添加deepspeed配置。
2025-04-22 20:20:57 +08:00
ef9324307d
更新项目版本至0.2.0，修改依赖项以支持Python 3.10，重构数据集目录结构，更新README.md以反映新路径和模型信息，删除requirements.txt文件，优化设置文件中的参数配置。
2025-04-21 20:12:59 +08:00
4b5563071d
Merge branch 'master' into Refactoring-Data-Processing
2025-04-16 22:39:16 +08:00
b46f1c6cf8
更新pyproject.toml以添加新的依赖项和开发工具，修改README.md以增强项目说明和使用指导，ruff优化格式。
2025-04-16 22:28:43 +08:00
4ea00ae781
更新pyproject.toml以添加新的依赖项，修改README.md以鼓励贡献代码，删除不再使用的dataset_info-with-his.json文件，并在dataset_info.json中添加相应的历史数据集信息，同时重构config.py以优化配置加载逻辑。
2025-04-14 22:38:47 +08:00
f46b873f92
更新pyproject.toml以调整类型检查配置，修改README.md以改善数据预处理说明，重构settings.json以优化数据集参数，更新qa_generator.py以支持新的消息处理逻辑，删除旧的测试文件test_old_csv_to_json copy.py并更新相关测试用例。
2025-04-13 19:14:27 +08:00
xming521