From 997516b793ffed1fc5481db232289d974f7d0ee2 Mon Sep 17 00:00:00 2001 From: Zhenyu Pan <120090196@link.cuhk.edu.cn> Date: Sun, 4 May 2025 00:04:49 +0800 Subject: [PATCH] fix: docs path typo --- models/Atom/02-Atom-7B-Chat Lora 微调.md | 2 +- models/CharacterGLM/04-CharacterGLM-6B-Lora微调.py | 2 +- models/ChatGLM/06-ChatGLM3-6B-Lora微调.ipynb | 4 ++-- models/ChatGLM/06-ChatGLM3-6B-Lora微调.md | 2 +- models/ChatGLM/06-ChatGLM3-6B-Lora微调.py | 2 +- .../04-DeepSeek-Coder-V2-Lite-Instruct Lora 微调.md | 2 +- models/DeepSeek/04-DeepSeek-7B-chat Lora 微调.md | 2 +- .../DeepSeek/05-DeepSeek-7B-chat 4bits量化 Qlora 微调.md | 2 +- models/GLM-4/05-GLM-4-9B-chat Lora 微调.ipynb | 4 ++-- models/GLM-4/05-GLM-4-9B-chat Lora 微调.md | 2 +- models/GLM-4/05-GLM-4-9B-chat-hf Lora 微调.ipynb | 4 ++-- models/GLM-4/05-GLM-4-9B-chat-hf Lora 微调.md | 2 +- models/Gemma/04-Gemma-2B-Instruct Lora微调.md | 2 +- models/Gemma2/04-Gemma-2-9b-it peft lora微调.md | 2 +- models/LLaMA3/04-LLaMA3-8B-Instruct Lora 微调.md | 2 +- models/Qwen/04-Qwen-7B-Chat Lora 微调.md | 2 +- models/Qwen/08-Qwen-7B-Chat Lora -4bit微调.ipynb | 4 ++-- models/Qwen/08-Qwen-7B-Chat Lora -8bit微调.ipynb | 4 ++-- models/Qwen/08-Qwen-7B-Chat Lora 低精度微调.md | 2 +- models/Qwen1.5/04-Qwen1.5-7B-chat Lora 微调.md | 2 +- models/Qwen1.5/08-Qwen1.5-7B-chat LoRA微调接入实验管理.md | 2 +- .../Qwen2.5-Coder/Qwen2.5-Coder-7B-Instruct Lora 微调.md | 2 +- models/Qwen2.5/05-Qwen2.5-7B-Instruct Lora 微调.md | 2 +- models/Qwen2/05-Qwen2-7B-Instruct Lora 微调.md | 2 +- models/Qwen2/05-Qwen2-7B-Instruct Lora.ipynb | 4 ++-- models/Qwen3/05-Qwen3-8B-LoRA及SwanLab可视化记录.md | 2 +- models/TransNormerLLM/04-TrasnNormerLLM-7B Lora 微调.md | 2 +- models/Yi/04-Yi-6B-Chat Lora 微调.md | 2 +- .../bilibili_Index-1.9B/04-Index-1.9B-Chat Lora 微调.md | 2 +- models/phi-3/04-Phi-3-mini-4k-Instruct Lora 微调.md | 2 +- models/phi-3/Phi-3-mini-4k-Instruct-Lora.ipynb | 8 ++++---- models/phi4/04-Phi-4-Lora 微调.md | 2 +- 32 files changed, 41 insertions(+), 41 deletions(-) diff --git a/models/Atom/02-Atom-7B-Chat Lora 微调.md b/models/Atom/02-Atom-7B-Chat Lora 微调.md index 8ea7c93..f184a46 100644 --- a/models/Atom/02-Atom-7B-Chat Lora 微调.md +++ b/models/Atom/02-Atom-7B-Chat Lora 微调.md @@ -17,7 +17,7 @@ pip install datasets==2.10.1 pip install accelerate==0.20.3 ``` -在本节教程里,我们将微调数据集放置在根目录 [/dataset](../dataset/huanhuan.jsonl),将基座模型参数放置在根目录 [/model](../model)。 +在本节教程里,我们将微调数据集放置在根目录 [/dataset](../../dataset/huanhuan.jsonl),将基座模型参数放置在根目录 [/model](../../models)。 ## 指令集构建 diff --git a/models/CharacterGLM/04-CharacterGLM-6B-Lora微调.py b/models/CharacterGLM/04-CharacterGLM-6B-Lora微调.py index 315798b..155ab81 100644 --- a/models/CharacterGLM/04-CharacterGLM-6B-Lora微调.py +++ b/models/CharacterGLM/04-CharacterGLM-6B-Lora微调.py @@ -42,7 +42,7 @@ args = TrainingArguments( if "__main__" == __name__: # 将JSON文件转换为CSV文件,处理数据集 - df = pd.read_json('../dataset/huanhuan.json') + df = pd.read_json('../../dataset/huanhuan.json') ds = Dataset.from_pandas(df) # 加载tokenizer tokenizer = AutoTokenizer.from_pretrained("/root/autodl-tmp/THUCoAI/CharacterGLM-6B", trust_remote_code=True) diff --git a/models/ChatGLM/06-ChatGLM3-6B-Lora微调.ipynb b/models/ChatGLM/06-ChatGLM3-6B-Lora微调.ipynb index 1ac881b..330886b 100644 --- a/models/ChatGLM/06-ChatGLM3-6B-Lora微调.ipynb +++ b/models/ChatGLM/06-ChatGLM3-6B-Lora微调.ipynb @@ -53,12 +53,12 @@ }, { "cell_type": "code", - "execution_count": 2, + "execution_count": null, "metadata": {}, "outputs": [], "source": [ "# 将JSON文件转换为CSV文件\n", - "df = pd.read_json('../dataset/huanhuan.json')\n", + "df = pd.read_json('../../dataset/huanhuan.json')\n", "ds = Dataset.from_pandas(df)" ] }, diff --git a/models/ChatGLM/06-ChatGLM3-6B-Lora微调.md b/models/ChatGLM/06-ChatGLM3-6B-Lora微调.md index a768538..8f4b62c 100644 --- a/models/ChatGLM/06-ChatGLM3-6B-Lora微调.md +++ b/models/ChatGLM/06-ChatGLM3-6B-Lora微调.md @@ -20,7 +20,7 @@ pip install datasets==2.10.1 pip install accelerate==0.21.0 ``` -在本节教程里,我们将微调数据集放置在根目录 [/dataset](../dataset/huanhuan.jsonl)。 +在本节教程里,我们将微调数据集放置在根目录 [/dataset](../../dataset/huanhuan.jsonl)。 ## 指令集构建 diff --git a/models/ChatGLM/06-ChatGLM3-6B-Lora微调.py b/models/ChatGLM/06-ChatGLM3-6B-Lora微调.py index 170a7ee..7e9fea6 100644 --- a/models/ChatGLM/06-ChatGLM3-6B-Lora微调.py +++ b/models/ChatGLM/06-ChatGLM3-6B-Lora微调.py @@ -37,7 +37,7 @@ args = TrainingArguments( if "__main__" == __name__: # 将JSON文件转换为CSV文件,处理数据集 - df = pd.read_json('../dataset/huanhuan.json') + df = pd.read_json('../../dataset/huanhuan.json') ds = Dataset.from_pandas(df) # 加载tokenizer tokenizer = AutoTokenizer.from_pretrained("/root/autodl-tmp/ZhipuAI/chatglm3-6b", trust_remote_code=True) diff --git a/models/DeepSeek-Coder-V2/04-DeepSeek-Coder-V2-Lite-Instruct Lora 微调.md b/models/DeepSeek-Coder-V2/04-DeepSeek-Coder-V2-Lite-Instruct Lora 微调.md index 1416c3d..8686f45 100644 --- a/models/DeepSeek-Coder-V2/04-DeepSeek-Coder-V2-Lite-Instruct Lora 微调.md +++ b/models/DeepSeek-Coder-V2/04-DeepSeek-Coder-V2-Lite-Instruct Lora 微调.md @@ -45,7 +45,7 @@ pip install datasets==2.20.0 > 注意:flash-attn 安装会比较慢,大概需要十几分钟。 -在本节教程里,我们将微调数据集放置在根目录 [/dataset](../dataset/huanhuan.json)。 +在本节教程里,我们将微调数据集放置在根目录 [/dataset](../../dataset/huanhuan.json)。 diff --git a/models/DeepSeek/04-DeepSeek-7B-chat Lora 微调.md b/models/DeepSeek/04-DeepSeek-7B-chat Lora 微调.md index 51a405a..873d523 100644 --- a/models/DeepSeek/04-DeepSeek-7B-chat Lora 微调.md +++ b/models/DeepSeek/04-DeepSeek-7B-chat Lora 微调.md @@ -19,7 +19,7 @@ pip install tiktoken pip install transformers_stream_generator ``` -在本节教程里,我们将微调数据集放置在根目录 [/dataset](../dataset/huanhuan.json)。 +在本节教程里,我们将微调数据集放置在根目录 [/dataset](../../dataset/huanhuan.json)。 ## 指令集构建 diff --git a/models/DeepSeek/05-DeepSeek-7B-chat 4bits量化 Qlora 微调.md b/models/DeepSeek/05-DeepSeek-7B-chat 4bits量化 Qlora 微调.md index 4c9e90b..2333f63 100644 --- a/models/DeepSeek/05-DeepSeek-7B-chat 4bits量化 Qlora 微调.md +++ b/models/DeepSeek/05-DeepSeek-7B-chat 4bits量化 Qlora 微调.md @@ -22,7 +22,7 @@ pip install transformers_stream_generator pip install bitsandbytes==0.41.1 ``` -在本节教程里,我们将微调数据集放置在根目录 [/dataset](../dataset/huanhuan.json)。 +在本节教程里,我们将微调数据集放置在根目录 [/dataset](../../dataset/huanhuan.json)。 ## 指令集构建 diff --git a/models/GLM-4/05-GLM-4-9B-chat Lora 微调.ipynb b/models/GLM-4/05-GLM-4-9B-chat Lora 微调.ipynb index 862acd3..3841a77 100644 --- a/models/GLM-4/05-GLM-4-9B-chat Lora 微调.ipynb +++ b/models/GLM-4/05-GLM-4-9B-chat Lora 微调.ipynb @@ -24,7 +24,7 @@ }, { "cell_type": "code", - "execution_count": 2, + "execution_count": null, "id": "e098d9eb", "metadata": { "tags": [] @@ -32,7 +32,7 @@ "outputs": [], "source": [ "# 将JSON文件转换为CSV文件\n", - "df = pd.read_json('../dataset/huanhuan.json')\n", + "df = pd.read_json('../../dataset/huanhuan.json')\n", "ds = Dataset.from_pandas(df)" ] }, diff --git a/models/GLM-4/05-GLM-4-9B-chat Lora 微调.md b/models/GLM-4/05-GLM-4-9B-chat Lora 微调.md index 48e4e52..e9affae 100644 --- a/models/GLM-4/05-GLM-4-9B-chat Lora 微调.md +++ b/models/GLM-4/05-GLM-4-9B-chat Lora 微调.md @@ -36,7 +36,7 @@ MAX_JOBS=8 pip install flash-attn --no-build-isolation > 考虑到部分同学配置环境可能会遇到一些问题,我们在 AutoDL 平台准备了 GLM-4 的环境镜像,该镜像适用于本教程需要 GLM-4 的部署环境。点击下方链接并直接创建 AutoDL 示例即可。(vLLM 对 torch 版本要求较高,且越高的版本对模型的支持更全,效果更好,所以新建一个全新的镜像。) **https://www.codewithgpu.com/i/datawhalechina/self-llm/GLM-4** -在本节教程里,我们将微调数据集放置在根目录 [/dataset](../dataset/huanhuan.json)。 +在本节教程里,我们将微调数据集放置在根目录 [/dataset](../../dataset/huanhuan.json)。 ## 模型下载 diff --git a/models/GLM-4/05-GLM-4-9B-chat-hf Lora 微调.ipynb b/models/GLM-4/05-GLM-4-9B-chat-hf Lora 微调.ipynb index 862acd3..3841a77 100644 --- a/models/GLM-4/05-GLM-4-9B-chat-hf Lora 微调.ipynb +++ b/models/GLM-4/05-GLM-4-9B-chat-hf Lora 微调.ipynb @@ -24,7 +24,7 @@ }, { "cell_type": "code", - "execution_count": 2, + "execution_count": null, "id": "e098d9eb", "metadata": { "tags": [] @@ -32,7 +32,7 @@ "outputs": [], "source": [ "# 将JSON文件转换为CSV文件\n", - "df = pd.read_json('../dataset/huanhuan.json')\n", + "df = pd.read_json('../../dataset/huanhuan.json')\n", "ds = Dataset.from_pandas(df)" ] }, diff --git a/models/GLM-4/05-GLM-4-9B-chat-hf Lora 微调.md b/models/GLM-4/05-GLM-4-9B-chat-hf Lora 微调.md index 12f654a..4a62bac 100644 --- a/models/GLM-4/05-GLM-4-9B-chat-hf Lora 微调.md +++ b/models/GLM-4/05-GLM-4-9B-chat-hf Lora 微调.md @@ -37,7 +37,7 @@ MAX_JOBS=8 pip install flash-attn --no-build-isolation > 注意:flash-attn 安装会比较慢,大概需要十几分钟。 -在本节教程里,我们将微调数据集放置在根目录 [/dataset](../dataset/huanhuan.json)。 +在本节教程里,我们将微调数据集放置在根目录 [/dataset](../../dataset/huanhuan.json)。 ## 模型下载 diff --git a/models/Gemma/04-Gemma-2B-Instruct Lora微调.md b/models/Gemma/04-Gemma-2B-Instruct Lora微调.md index 0bc81fe..98a9ccf 100644 --- a/models/Gemma/04-Gemma-2B-Instruct Lora微调.md +++ b/models/Gemma/04-Gemma-2B-Instruct Lora微调.md @@ -34,7 +34,7 @@ MAX_JOBS=8 pip install flash-attn --no-build-isolation > 注意:flash-attn 安装会比较慢,大概需要十几分钟。 -在本节教程里,我们将微调数据集放置在根目录 [/dataset](../dataset/huanhuan.json)。 +在本节教程里,我们将微调数据集放置在根目录 [/dataset](../../dataset/huanhuan.json)。 ## 模型下载 diff --git a/models/Gemma2/04-Gemma-2-9b-it peft lora微调.md b/models/Gemma2/04-Gemma-2-9b-it peft lora微调.md index b992ed1..4073720 100644 --- a/models/Gemma2/04-Gemma-2-9b-it peft lora微调.md +++ b/models/Gemma2/04-Gemma-2-9b-it peft lora微调.md @@ -31,7 +31,7 @@ pip install datasets peft > 考虑到部分同学配置环境可能会遇到一些问题,我们在AutoDL平台准备了Gemma2 的环境镜像,该镜像适用于该仓库的 Gemma2 教程所有部署环境。点击下方链接并直接创建Autodl示例即可。 > ***https://www.codewithgpu.com/i/datawhalechina/self-llm/self-llm-gemma2*** -在本节教程里,我们将微调数据集放置在根目录 [/dataset](../dataset/huanhuan.json)。 +在本节教程里,我们将微调数据集放置在根目录 [/dataset](../../dataset/huanhuan.json)。 ## 指令集构建 diff --git a/models/LLaMA3/04-LLaMA3-8B-Instruct Lora 微调.md b/models/LLaMA3/04-LLaMA3-8B-Instruct Lora 微调.md index f7da099..cfbe09e 100644 --- a/models/LLaMA3/04-LLaMA3-8B-Instruct Lora 微调.md +++ b/models/LLaMA3/04-LLaMA3-8B-Instruct Lora 微调.md @@ -36,7 +36,7 @@ MAX_JOBS=8 pip install flash-attn --no-build-isolation > 考虑到部分同学配置环境可能会遇到一些问题,我们在 AutoDL 平台准备了 LLaMA3 的环境镜像,该镜像适用于该仓库的所有部署环境。点击下方链接并直接创建 Autodl 示例即可。 > ***https://www.codewithgpu.com/i/datawhalechina/self-llm/self-llm-LLaMA3*** -在本节教程里,我们将微调数据集放置在根目录 [/dataset](../dataset/huanhuan.json)。 +在本节教程里,我们将微调数据集放置在根目录 [/dataset](../../dataset/huanhuan.json)。 ## 模型下载 diff --git a/models/Qwen/04-Qwen-7B-Chat Lora 微调.md b/models/Qwen/04-Qwen-7B-Chat Lora 微调.md index f513be9..6b07fdb 100644 --- a/models/Qwen/04-Qwen-7B-Chat Lora 微调.md +++ b/models/Qwen/04-Qwen-7B-Chat Lora 微调.md @@ -21,7 +21,7 @@ pip install tiktoken pip install transformers_stream_generator ``` -在本节教程里,我们将微调数据集放置在根目录 [/dataset](../dataset/huanhuan.jsonl)。 +在本节教程里,我们将微调数据集放置在根目录 [/dataset](../../dataset/huanhuan.jsonl)。 ## 指令集构建 diff --git a/models/Qwen/08-Qwen-7B-Chat Lora -4bit微调.ipynb b/models/Qwen/08-Qwen-7B-Chat Lora -4bit微调.ipynb index b2e51ac..7ab4f30 100644 --- a/models/Qwen/08-Qwen-7B-Chat Lora -4bit微调.ipynb +++ b/models/Qwen/08-Qwen-7B-Chat Lora -4bit微调.ipynb @@ -33,7 +33,7 @@ }, { "cell_type": "code", - "execution_count": 2, + "execution_count": null, "id": "e098d9eb", "metadata": { "tags": [] @@ -41,7 +41,7 @@ "outputs": [], "source": [ "# 将JSON文件转换为CSV文件\n", - "df = pd.read_json('../dataset/huanhuan.json')\n", + "df = pd.read_json('../../dataset/huanhuan.json')\n", "ds = Dataset.from_pandas(df)" ] }, diff --git a/models/Qwen/08-Qwen-7B-Chat Lora -8bit微调.ipynb b/models/Qwen/08-Qwen-7B-Chat Lora -8bit微调.ipynb index bf96cc3..1538f37 100644 --- a/models/Qwen/08-Qwen-7B-Chat Lora -8bit微调.ipynb +++ b/models/Qwen/08-Qwen-7B-Chat Lora -8bit微调.ipynb @@ -33,7 +33,7 @@ }, { "cell_type": "code", - "execution_count": 2, + "execution_count": null, "id": "e098d9eb", "metadata": { "tags": [] @@ -41,7 +41,7 @@ "outputs": [], "source": [ "# 将JSON文件转换为CSV文件\n", - "df = pd.read_json('../dataset/huanhuan.json')\n", + "df = pd.read_json('../../dataset/huanhuan.json')\n", "ds = Dataset.from_pandas(df)" ] }, diff --git a/models/Qwen/08-Qwen-7B-Chat Lora 低精度微调.md b/models/Qwen/08-Qwen-7B-Chat Lora 低精度微调.md index 9af9721..9341818 100644 --- a/models/Qwen/08-Qwen-7B-Chat Lora 低精度微调.md +++ b/models/Qwen/08-Qwen-7B-Chat Lora 低精度微调.md @@ -22,7 +22,7 @@ pip install transformers_stream_generator pip install bitsandbytes==0.41.1 ``` -在本节教程里,我们将微调数据集放置在根目录 [/dataset](../dataset/huanhuan.jsonl)。 +在本节教程里,我们将微调数据集放置在根目录 [/dataset](../../dataset/huanhuan.jsonl)。 ## 指令集构建 diff --git a/models/Qwen1.5/04-Qwen1.5-7B-chat Lora 微调.md b/models/Qwen1.5/04-Qwen1.5-7B-chat Lora 微调.md index d4d96fd..f9fbe35 100644 --- a/models/Qwen1.5/04-Qwen1.5-7B-chat Lora 微调.md +++ b/models/Qwen1.5/04-Qwen1.5-7B-chat Lora 微调.md @@ -40,7 +40,7 @@ pip install datasets==2.20.0 > 考虑到部分同学配置环境可能会遇到一些问题,我们在AutoDL平台准备了Qwen1.5的环境镜像,该镜像适用于该仓库除Qwen-GPTQ和vllm外的所有部署环境。点击下方链接并直接创建Autodl示例即可。 > ***https://www.codewithgpu.com/i/datawhalechina/self-llm/self-llm-Qwen1.5*** -在本节教程里,我们将微调数据集放置在根目录 [/dataset](../dataset/huanhuan.json)。 +在本节教程里,我们将微调数据集放置在根目录 [/dataset](../../dataset/huanhuan.json)。 diff --git a/models/Qwen1.5/08-Qwen1.5-7B-chat LoRA微调接入实验管理.md b/models/Qwen1.5/08-Qwen1.5-7B-chat LoRA微调接入实验管理.md index ba1a0ce..776e337 100644 --- a/models/Qwen1.5/08-Qwen1.5-7B-chat LoRA微调接入实验管理.md +++ b/models/Qwen1.5/08-Qwen1.5-7B-chat LoRA微调接入实验管理.md @@ -40,7 +40,7 @@ pip install datasets==2.20.0 > 考虑到部分同学配置环境可能会遇到一些问题,我们在AutoDL平台准备了Qwen1.5的环境镜像,该镜像适用于该仓库除Qwen-GPTQ和vllm外的所有部署环境。点击下方链接并直接创建Autodl示例即可。 > ***https://www.codewithgpu.com/i/datawhalechina/self-llm/self-llm-Qwen1.5*** -在本节教程里,我们将微调数据集放置在根目录 [/dataset](../dataset/huanhuan.json)。 +在本节教程里,我们将微调数据集放置在根目录 [/dataset](../../dataset/huanhuan.json)。 diff --git a/models/Qwen2.5-Coder/Qwen2.5-Coder-7B-Instruct Lora 微调.md b/models/Qwen2.5-Coder/Qwen2.5-Coder-7B-Instruct Lora 微调.md index b634296..a734835 100644 --- a/models/Qwen2.5-Coder/Qwen2.5-Coder-7B-Instruct Lora 微调.md +++ b/models/Qwen2.5-Coder/Qwen2.5-Coder-7B-Instruct Lora 微调.md @@ -37,7 +37,7 @@ pip install peft==0.13.2 > ***https://www.codewithgpu.com/i/datawhalechina/self-llm/qwen2.5-coder*** -在本节教程里,我们将微调数据集放置在根目录 [/dataset](../dataset/huanhuan.json)。 +在本节教程里,我们将微调数据集放置在根目录 [/dataset](../../dataset/huanhuan.json)。 ## 指令集构建 diff --git a/models/Qwen2.5/05-Qwen2.5-7B-Instruct Lora 微调.md b/models/Qwen2.5/05-Qwen2.5-7B-Instruct Lora 微调.md index 1aeac6e..4f94304 100644 --- a/models/Qwen2.5/05-Qwen2.5-7B-Instruct Lora 微调.md +++ b/models/Qwen2.5/05-Qwen2.5-7B-Instruct Lora 微调.md @@ -28,7 +28,7 @@ pip install peft==0.11.1 > 注意:flash-attn 安装会比较慢,大概需要十几分钟。 -在本节教程里,我们将微调数据集放置在根目录 [/dataset](../dataset/huanhuan.json)。 +在本节教程里,我们将微调数据集放置在根目录 [/dataset](../../dataset/huanhuan.json)。 ## 模型下载 diff --git a/models/Qwen2/05-Qwen2-7B-Instruct Lora 微调.md b/models/Qwen2/05-Qwen2-7B-Instruct Lora 微调.md index b665698..8465573 100644 --- a/models/Qwen2/05-Qwen2-7B-Instruct Lora 微调.md +++ b/models/Qwen2/05-Qwen2-7B-Instruct Lora 微调.md @@ -45,7 +45,7 @@ MAX_JOBS=8 pip install flash-attn --no-build-isolation > 注意:flash-attn 安装会比较慢,大概需要十几分钟。 -在本节教程里,我们将微调数据集放置在根目录 [/dataset](../dataset/huanhuan.json)。 +在本节教程里,我们将微调数据集放置在根目录 [/dataset](../../dataset/huanhuan.json)。 ## 指令集构建 diff --git a/models/Qwen2/05-Qwen2-7B-Instruct Lora.ipynb b/models/Qwen2/05-Qwen2-7B-Instruct Lora.ipynb index bd1a1b0..ed3a74c 100644 --- a/models/Qwen2/05-Qwen2-7B-Instruct Lora.ipynb +++ b/models/Qwen2/05-Qwen2-7B-Instruct Lora.ipynb @@ -24,7 +24,7 @@ }, { "cell_type": "code", - "execution_count": 2, + "execution_count": null, "id": "e098d9eb", "metadata": { "tags": [] @@ -32,7 +32,7 @@ "outputs": [], "source": [ "# 将JSON文件转换为CSV文件\n", - "df = pd.read_json('../dataset/huanhuan.json')\n", + "df = pd.read_json('../../dataset/huanhuan.json')\n", "ds = Dataset.from_pandas(df)" ] }, diff --git a/models/Qwen3/05-Qwen3-8B-LoRA及SwanLab可视化记录.md b/models/Qwen3/05-Qwen3-8B-LoRA及SwanLab可视化记录.md index e82a9c9..6958769 100644 --- a/models/Qwen3/05-Qwen3-8B-LoRA及SwanLab可视化记录.md +++ b/models/Qwen3/05-Qwen3-8B-LoRA及SwanLab可视化记录.md @@ -53,7 +53,7 @@ print(f"模型下载完成,保存路径为:{model_dir}") } ``` -所有的示例微调数据集位于 [/dataset](../dataset/huanhuan.json) +所有的示例微调数据集位于 [/dataset](../../dataset/huanhuan.json) ## 数据准备 diff --git a/models/TransNormerLLM/04-TrasnNormerLLM-7B Lora 微调.md b/models/TransNormerLLM/04-TrasnNormerLLM-7B Lora 微调.md index cf05f2e..1e8db2d 100644 --- a/models/TransNormerLLM/04-TrasnNormerLLM-7B Lora 微调.md +++ b/models/TransNormerLLM/04-TrasnNormerLLM-7B Lora 微调.md @@ -68,7 +68,7 @@ MAX_JOBS=8 pip install flash-attn --no-build-isolation > 注意:flash-attn 安装会比较慢,大概需要十几分钟。 -在本节教程里,我们将微调数据集 `huanhuan.json` 放置在根目录 [/dataset](../dataset/huanhuan.json),该样本数据取自 [huanhuan.json](https://github.com/datawhalechina/self-llm/blob/master/dataset/huanhuan.json) +在本节教程里,我们将微调数据集 `huanhuan.json` 放置在根目录 [/dataset](../../dataset/huanhuan.json),该样本数据取自 [huanhuan.json](https://github.com/datawhalechina/self-llm/blob/master/dataset/huanhuan.json) ## 指令集构建 diff --git a/models/Yi/04-Yi-6B-Chat Lora 微调.md b/models/Yi/04-Yi-6B-Chat Lora 微调.md index e02e1aa..6825fe3 100644 --- a/models/Yi/04-Yi-6B-Chat Lora 微调.md +++ b/models/Yi/04-Yi-6B-Chat Lora 微调.md @@ -19,7 +19,7 @@ pip install tiktoken pip install transformers_stream_generator ``` -在本节教程里,我们将微调数据集放置在根目录 [/dataset](../dataset/huanhuan.jsonl)。 +在本节教程里,我们将微调数据集放置在根目录 [/dataset](../../dataset/huanhuan.jsonl)。 ## 指令集构建 diff --git a/models/bilibili_Index-1.9B/04-Index-1.9B-Chat Lora 微调.md b/models/bilibili_Index-1.9B/04-Index-1.9B-Chat Lora 微调.md index 51442ec..cef3134 100644 --- a/models/bilibili_Index-1.9B/04-Index-1.9B-Chat Lora 微调.md +++ b/models/bilibili_Index-1.9B/04-Index-1.9B-Chat Lora 微调.md @@ -40,7 +40,7 @@ pip install datasets==2.20.0 > 考虑到部分同学配置环境可能会遇到一些问题,我们在 `AutoDL` 平台准备了 `Index-1.9B-Chat` 的环境镜像。点击下方链接并直接创建 `Autodl` 示例即可。 > ***https://www.codewithgpu.com/i/datawhalechina/self-llm/Index*** -在本节教程里,我们将微调数据集放置在根目录 [/dataset](../dataset/huanhuan.json)。 +在本节教程里,我们将微调数据集放置在根目录 [/dataset](../../dataset/huanhuan.json)。 diff --git a/models/phi-3/04-Phi-3-mini-4k-Instruct Lora 微调.md b/models/phi-3/04-Phi-3-mini-4k-Instruct Lora 微调.md index f35b272..ab31044 100644 --- a/models/phi-3/04-Phi-3-mini-4k-Instruct Lora 微调.md +++ b/models/phi-3/04-Phi-3-mini-4k-Instruct Lora 微调.md @@ -33,7 +33,7 @@ MAX_JOBS=8 pip install flash-attn --no-build-isolation > 考虑到部分同学配置环境可能会遇到一些问题,我们在 AutoDL 平台准备了 Phi-3 的环境镜像,该镜像适用于该仓库的所有部署环境。点击下方链接并直接创建 Autodl 示例即可。 > ***https://www.codewithgpu.com/i/datawhalechina/self-llm/Phi-3-Lora*** -在本节教程里,我们将微调数据集放置在根目录 [/dataset](../dataset/huanhuan.json)。 +在本节教程里,我们将微调数据集放置在根目录 [/dataset](../../dataset/huanhuan.json)。 ## 模型下载 diff --git a/models/phi-3/Phi-3-mini-4k-Instruct-Lora.ipynb b/models/phi-3/Phi-3-mini-4k-Instruct-Lora.ipynb index 089f04f..ede98af 100644 --- a/models/phi-3/Phi-3-mini-4k-Instruct-Lora.ipynb +++ b/models/phi-3/Phi-3-mini-4k-Instruct-Lora.ipynb @@ -24,7 +24,7 @@ }, { "cell_type": "code", - "execution_count": 3, + "execution_count": null, "id": "e098d9eb", "metadata": { "tags": [] @@ -32,7 +32,7 @@ "outputs": [], "source": [ "# 将JSON文件转换为CSV文件\n", - "df = pd.read_json('../dataset/huanhuan.json')\n", + "df = pd.read_json('../../dataset/huanhuan.json')\n", "ds = Dataset.from_pandas(df)" ] }, @@ -242,7 +242,7 @@ }, "outputs": [ { - "name": "stdin", + "name": "stdout", "output_type": "stream", "text": [ "The repository for /root/autodl-tmp/LLM-Research/Phi-3-mini-4k-instruct contains custom code which must be executed to correctly load the model. You can inspect the repository content at https://hf.co//root/autodl-tmp/LLM-Research/Phi-3-mini-4k-instruct.\n", @@ -909,7 +909,7 @@ ] }, { - "name": "stdin", + "name": "stdout", "output_type": "stream", "text": [ "The repository for /root/autodl-tmp/LLM-Research/Phi-3-mini-4k-instruct contains custom code which must be executed to correctly load the model. You can inspect the repository content at https://hf.co//root/autodl-tmp/LLM-Research/Phi-3-mini-4k-instruct.\n", diff --git a/models/phi4/04-Phi-4-Lora 微调.md b/models/phi4/04-Phi-4-Lora 微调.md index 2f1837e..1c8bdaf 100644 --- a/models/phi4/04-Phi-4-Lora 微调.md +++ b/models/phi4/04-Phi-4-Lora 微调.md @@ -37,7 +37,7 @@ pip install peft==0.11.1 # 用于 LoRA 微调 >考虑到部分同学配置环境可能会遇到一些问题,我们在AutoDL平台准备了Phi-4的环境镜像,点击下方链接并直接创建Autodl示例即可。 ***https://www.codewithgpu.com/i/datawhalechina/self-llm/self-llm-phi4*** -在本节教程里,我们将微调数据集放置在根目录 [/dataset](../dataset/huanhuan.json)。 +在本节教程里,我们将微调数据集放置在根目录 [/dataset](../../dataset/huanhuan.json)。 ## 模型下载