opensource/self-llm

mirror of https://github.com/datawhalechina/self-llm.git synced 2026-09-01 04:59:20 +08:00

Files

T

陈榆 710194b477 修改AMD的教程，并且增加AMD算力平台支持 (#519 )

* Gemma4教程

提交Gemma4教程

* 优化gemma4教程

* 修订一下

* docs: 将 AMD 专区切换为 ROCm 7（Gemma4 / Qwen3.5）

参考 hello-rocm 01-deploy 迁入部署教程，替换 models_amd 旧 Lemonade 内容，并更新入口页链接以引导深入学习。

Co-authored-by: Cursor <cursoragent@cursor.com>

* 增加致谢

* 增加算力支持

---------

Co-authored-by: Cursor <cursoragent@cursor.com>

2026-07-30 09:52:23 +08:00

37 KiB

Raw Blame History

已支持模型列表

本仓库致力于知错和整理各大语言模型的部署、微调和使用教程。我们为每个支持的模型提供了详细的部署指南、API调用示例、LangChain集成方案、WebDemo实现以及微调方法。所有教程均经过实践验证，确保能够在实际环境中顺利运行。欢迎贡献新的模型教程或改进现有文档！

目录

已支持模型列表

DeepSeek-V4-Flash

DeepSeek-V4-Flash

DeepSeek-V4-Flash LoRA 及 SwanLab 可视化记录

MiniCPM5

Qwen3.5

Kimi-K2.5

Step-3.5-Flash

Step-3.5-Flash vLLM 部署调用及 Docker 镜像 @郑远婧
Step-3.5-Flash SGLang 部署调用及 Docker 镜像 @陈辅元
Step-3.5-Flash Lora 微调及 Docker 镜像

GLM-4.7-Flash

GLM-4.7-Flash vLLM 部署调用及 Docker 镜像 @谢好冉
GLM-4.7-Flash SGLang 部署调用及 Docker 镜像 @三水
GLM-4.7-Flash Lora 微调及 Docker 镜像 @余洋

谷歌-Gemma3

gemma-2b-it FastApi 部署调用 @陈榆
gemma-2b-it langchain 接入 @陈榆
gemma-2b-it WebDemo 部署 @陈榆
gemma-2b-it Peft Lora 微调 @陈榆
AMD / ROCm 部署专区（Gemma4） · 详见 models_amd/gemma4（环境准备 / LM Studio / vLLM / Ollama / llama.cpp）

MiniMax-M3

MiniMax-M2.5

MiniMax-M2

MiniMax-M2 在线体验地址
MiniMax-M2 Hugging Face 地址
MiniMax-M2 Text Generation Guide
MiniMax-M2 模型结构解析 Blog @王泽宇
MiniMax-M2 vllm 部署调用 @姜舒凡
MiniMax-M2 SGLang 部署调用 @姜舒凡
MiniMax-M2 evalscope 智商情商评测及并发评测 @姜舒凡
AutoDL MiniMax-M2 vllm部署及evalscope镜像 @姜舒凡

Qwen3-VL-4B-Instruct

Qwen3-VL-4B-Instruct

Qwen3-VL 模型结构解析（DeepStack解析） @王泽宇
Qwen3-VL-4B-Instruct FastApi 部署调用 @王嘉鹏
Qwen3-VL-4B-Instruct vLLM 部署 @姜舒凡
Qwen3-VL-4B-Instruct Lora 可视化微调案例-LaTexOCR @李秀奇

BGE-M3

代码检索场景微调实战微调BGE-M3 embedding模型 @李秀奇

gpt-oss-20b

GLM-4.1-Thinking

GLM-4.1-Thinking

GLM-4.1V-Thinking vLLM 部署调用 @林恒宇
GLM-4.1V-Thinking Gradio部署 @林恒宇
GLM-4.1V-Thinking Lora 微调及 SwanLab 可视化记录 @林恒宇
GLM-4.1V-Thinking Docker 镜像 @林恒宇

GLM-4.5-Air

GLM-4.5-Air vLLM 部署调用 @不要葱姜蒜
GLM-4.5-Air EvalScope 智商情商 && 并发评测 @不要葱姜蒜
GLM-4.5-Air Lora 微调 @不要葱姜蒜
GLM-4.5-Air Ucloud Docker 镜像 @不要葱姜蒜

ERNIE-4.5

ERNIE-4.5-0.3B-PT Lora 微调及 SwanLab 可视化记录 @不要葱姜蒜
ERNIE-4.5-0.3B-PT Lora Docker 镜像 @不要葱姜蒜

Hunyuan-A13B-Instruct

Hunyuan-A13B-Instruct

Hunyuan-A13B-Instruct 模型架构解析 Blog @卓堂越
Hunyuan-A13B-Instruct SGLang 部署调用 @fancy
Hunyuan-A13B-Instruct Lora SwanLab 可视化微调 @谢好冉
Hunyuan-A13B-Instruct Lora Docker 镜像 @谢好冉

Qwen3

Qwen3 模型结构解析 Blog @王泽宇
Qwen3-8B vllm 部署调用 @李娇娇
Qwen3-8B Windows LMStudio 部署调用 @王熠明
Qwen3-8B Evalscope 智商情商评测 @李娇娇
Qwen3-8B Lora 微调及SwanLab 可视化记录 @姜舒凡
Qwen3-30B-A3B 微调及SwanLab 可视化记录 @高立业
Qwen3 Think 解密 Blog @樊奇
Qwen3-8B Docker 镜像 @高立业
Qwen3-0.6B 的小模型有什么用 @不要葱姜蒜
Qwen3-1.7B 医学推理式对话微调及 SwanLab 可视化记录 @林泽毅
Qwen3-8B GRPO微调及通过swanlab可视化 @郭宣伯
AMD / ROCm 部署专区（Qwen3.5） · 详见 models_amd/qwen3.5（环境准备 / LM Studio / vLLM / Ollama / llama.cpp）

Kimi

Kimi-VL-A3B 技术报告解读 @王泽宇
Kimi-VL-A3B-Thinking WebDemo 部署（网页对话助手） @姜舒凡

Llama4

Llama4 对话助手 @姜舒凡

SpatialLM

SpatialLM 3D点云理解与目标检测模型部署 @王泽宇

Hunyuan3D-2

Gemma3

DeepSeek-R1-Distill

DeepSeek-R1-Distill

DeepSeek-R1-Distill-Qwen-7B FastApi 部署调用 @骆秀韬
DeepSeek-R1-Distill-Qwen-7B Langchain 接入 @骆秀韬
DeepSeek-R1-Distill-Qwen-7B WebDemo 部署 @骆秀韬
DeepSeek-R1-Distill-Qwen-7B vLLM 部署调用 @骆秀韬
DeepSeek-R1-0528-Qwen3-8B-GRPO及swanlab可视化 @郭宣伯

MiniCPM-o-2_6

minicpm-o-2.6 FastApi 部署调用 @林恒宇
minicpm-o-2.6 WebDemo 部署 @程宏
minicpm-o-2.6 多模态语音能力 @邓恺俊
minicpm-o-2.6 可视化 LaTeX_OCR Lora 微调 @林泽毅

InternLM3

phi4

Qwen2.5-Coder

Qwen2.5-Coder-7B-Instruct FastApi部署调用 @赵文恺
Qwen2.5-Coder-7B-Instruct Langchian接入 @杨晨旭
Qwen2.5-Coder-7B-Instruct WebDemo 部署 @王泽宇
Qwen2.5-Coder-7B-Instruct vLLM 部署 @王泽宇
Qwen2.5-Coder-7B-Instruct Lora 微调 @荞麦
Qwen2.5-Coder-7B-Instruct Lora 微调 SwanLab 可视化记录版 @杨卓

Qwen2-vl

Qwen2.5

Qwen2.5-7B-Instruct FastApi 部署调用 @娄天奥
Qwen2.5-7B-Instruct langchain 接入 @娄天奥
Qwen2.5-7B-Instruct vLLM 部署调用 @姜舒凡
Qwen2.5-7B-Instruct WebDemo 部署 @高立业
Qwen2.5-7B-Instruct Lora 微调 @左春生
Qwen2.5-7B-Instruct o1-like 推理链实现 @姜舒凡
Qwen2.5-7B-Instruct Lora 微调 SwanLab 可视化记录版 @林泽毅

Apple OpenELM

OpenELM-3B-Instruct FastApi 部署调用 @王泽宇
OpenELM-3B-Instruct Lora 微调 @王泽宇

Llama3_1-8B-Instruct

Llama3_1-8B-Instruct

Llama3_1-8B-Instruct FastApi 部署调用 @不要葱姜蒜
Llama3_1-8B-Instruct langchain 接入 @张晋
Llama3_1-8B-Instruct WebDemo 部署 @张晋
Llama3_1-8B-Instruct Lora 微调 @不要葱姜蒜
动手转换GGUF模型并使用Ollama本地部署 @Gaoboy

Gemma-2-9b-it

Yuan2.0

Yuan2.0-M32

DeepSeek-Coder-V2

DeepSeek-Coder-V2

DeepSeek-Coder-V2-Lite-Instruct FastApi 部署调用 @姜舒凡
DeepSeek-Coder-V2-Lite-Instruct langchain 接入 @姜舒凡
DeepSeek-Coder-V2-Lite-Instruct WebDemo 部署 @Kailigithub
DeepSeek-Coder-V2-Lite-Instruct Lora 微调 @余洋

哔哩哔哩 Index-1.9B

哔哩哔哩 Index-1.9B

Qwen2

GLM-4

Qwen 1.5

Qwen1.5-7B-chat FastApi 部署调用 @颜鑫
Qwen1.5-7B-chat langchain 接入 @颜鑫
Qwen1.5-7B-chat WebDemo 部署 @颜鑫
Qwen1.5-7B-chat Lora 微调 @不要葱姜蒜
Qwen1.5-72B-chat-GPTQ-Int4 部署环境 @byx020119
Qwen1.5-MoE-chat Transformers 部署调用 @丁悦
Qwen1.5-7B-chat vLLM推理部署 @高立业
Qwen1.5-7B-chat Lora 微调接入SwanLab实验管理平台 @黄柏特

phi-3

Phi-3-mini-4k-instruct FastApi 部署调用 @郑皓桦
Phi-3-mini-4k-instruct langchain 接入 @郑皓桦
Phi-3-mini-4k-instruct WebDemo 部署 @丁悦
Phi-3-mini-4k-instruct Lora 微调 @丁悦

CharacterGLM-6B

CharacterGLM-6B

LLaMA3-8B-Instruct

LLaMA3-8B-Instruct

XVERSE-7B-Chat

TransNormerLLM

TransNormerLLM-7B-Chat FastApi 部署调用 @王茂霖
TransNormerLLM-7B-Chat langchain 接入 @王茂霖
TransNormerLLM-7B-Chat WebDemo 部署 @王茂霖
TransNormerLLM-7B-Chat Lora 微调 @王茂霖

BlueLM Vivo 蓝心大模型

BlueLM Vivo 蓝心大模型

InternLM2

DeepSeek 深度求索

DeepSeek 深度求索

DeepSeek-7B-chat FastApi 部署调用 @不要葱姜蒜
DeepSeek-7B-chat langchain 接入 @不要葱姜蒜
DeepSeek-7B-chat WebDemo @不要葱姜蒜
DeepSeek-7B-chat Lora 微调 @不要葱姜蒜
DeepSeek-7B-chat 4bits量化 Qlora 微调 @不要葱姜蒜
DeepSeek-MoE-16b-chat Transformers 部署调用 @Kailigithub
DeepSeek-MoE-16b-chat FastApi 部署调用 @Kailigithub
DeepSeek-coder-6.7b finetune colab @Swiftie
Deepseek-coder-6.7b webdemo colab @Swiftie

MiniCPM

MiniCPM-2B-chat transformers 部署调用 @Kailigithub
MiniCPM-2B-chat FastApi 部署调用 @Kailigithub
MiniCPM-2B-chat langchain 接入 @不要葱姜蒜
MiniCPM-2B-chat webdemo 部署 @Kailigithub
MiniCPM-2B-chat Lora && Full 微调 @不要葱姜蒜
官方友情链接：面壁小钢炮MiniCPM教程 @OpenBMB
官方友情链接：MiniCPM-Cookbook @OpenBMB

Qwen-Audio

Qwen-Audio FastApi 部署调用 @陈思州
Qwen-Audio WebDemo @陈思州

Qwen

Yi 零一万物

Yi 零一万物

Baichuan 百川智能

Baichuan 百川智能

InternLM

InternLM-Chat-7B Transformers 部署调用 @小罗
InternLM-Chat-7B FastApi 部署调用 @不要葱姜蒜
InternLM-Chat-7B WebDemo @不要葱姜蒜
Lagent+InternLM-Chat-7B-V1.1 WebDemo @不要葱姜蒜
浦语灵笔图文理解&创作 WebDemo @不要葱姜蒜
InternLM-Chat-7B 接入 LangChain 框架 @Logan Zou

Atom (llama2)

ChatGLM3

ChatGLM3-6B Transformers 部署调用 @丁悦
ChatGLM3-6B FastApi 部署调用 @丁悦
ChatGLM3-6B chat WebDemo @不要葱姜蒜
ChatGLM3-6B Code Interpreter WebDemo @不要葱姜蒜
ChatGLM3-6B 接入 LangChain 框架 @Logan Zou
ChatGLM3-6B Lora 微调 @肖鸿儒

通用环境配置

pip、conda 换源 @不要葱姜蒜
AutoDL 开放端口 @不要葱姜蒜
模型下载
- hugging face @不要葱姜蒜
- hugging face 镜像下载 @不要葱姜蒜
- modelscope @不要葱姜蒜
- git-lfs @不要葱姜蒜
- Openxlab
Issue && PR
- Issue 提交 @肖鸿儒
- PR 提交 @肖鸿儒
- fork更新 @肖鸿儒