选择正确的模型
您选择的模型会显著影响训练时间、质量和硬件要求。本指南帮助您做出正确选择。模型大小 vs 硬件
黄金法则：模型训练大约需要其参数数量 2 倍的 GB 内存。7B 模型完整训练需要
~14GB VRAM，或使用 LoRA 需要 ~8GB。
快速参考
内存估算公式
- 完整训练：7B × 16 = ~112GB（需要多 GPU）
- 使用 LoRA：7B × 2 + 2GB = ~16GB
- 使用 LoRA + int4：7B × 0.5 + 2GB = ~6GB
基础模型 vs 指令调优模型
这是您将做出的最重要决定之一。基础模型（预训练）
示例：google/gemma-2-2b、meta-llama/Llama-3.2-1B
它们是什么：在原始文本上训练以预测下一个词。它们了解语言但不知道如何提供帮助。
何时使用：
- 您有大量训练数据（10k+ 示例）
- 您想要完全控制模型行为
- 您正在为特定格式训练（非聊天）
- 您想创建自己的指令风格
指令调优模型（IT/Instruct）
示例：google/gemma-2-2b-it、meta-llama/Llama-3.2-1B-Instruct
它们是什么：已经训练过遵循指令并提供帮助的基础模型。
何时使用：
- 您的训练数据有限（100-5k 示例）
- 您想优化现有的有用行为
- 您正在构建聊天机器人或助手
- 您想用更少数据更快获得结果
决策矩阵
模型系列
Google Gemma
版本：Gemma 2、Gemma 3
优势：适合较小尺寸，高效，良好的多语言支持
提示：添加
-it 后缀获取指令调优版本
Meta Llama
版本：Llama 3.1、Llama 3.2
优势：卓越质量，强大推理能力，优秀的社区支持
注意：需要先在 HuggingFace 上接受许可
Mistral
优势：高效，快速推理，擅长代码
提示：Mistral 经常超出其重量级别
Qwen（阿里巴巴）
优势：出色的多语言，特别是亚洲语言
搜索模型
在向导中，使用这些命令：排序选项
选择技巧
从小开始，逐步扩展
从小开始，逐步扩展
始终从较小的模型开始，如
gemma-3-270m。让您的流程工作，验证数据集格式正确，然后扩展到更大的模型。不要追求最大模型
不要追求最大模型
训练良好的 3B 模型通常胜过训练不佳的 7B 模型。首先关注数据质量，然后扩展模型。
模型与数据匹配
模型与数据匹配
如果您只有 500 个示例，270M-1B 模型就足够了。使用 7B
模型只会记忆您的数据而不是学习模式。
考虑推理成本
考虑推理成本
如果您要部署模型，请记住：更大的模型运行成本更高。1B 模型的服务成本比 7B
模型便宜 7 倍。
先尝试指令调优
先尝试指令调优
除非您有 10k+ 高质量示例，否则从指令调优模型开始。您会更快获得更好的结果。
验证您的选择
选择模型后，向导验证它是否存在：下一步
数据集指南
准备您的训练数据
大模型的 LoRA
在有限硬件上训练更大的模型