生成参数
调整这些设置以控制模型输出。关键参数
Temperature
控制回复中的随机性。Max Tokens
回复的最大长度。更大的 max tokens = 更长的生成时间。
Top-p (Nucleus Sampling)
将 token 选择限制为累积概率。- 0.95 (UI 默认值) - 考虑直到 95% 概率质量的 tokens
- 0.9 - 稍微更聚焦
- 0.5 - 非常聚焦
Top-k
限制为 k 个最可能的 tokens。- 50 (默认值) - 考虑前 50 个 tokens
- 10 - 非常聚焦
- 100 - 更多变化
参数组合
事实性问答
创意写作
代码生成
对话
找到正确的设置
从默认值开始
默认设置适用于大多数情况：- temperature: 0.7
- max_tokens: 256
- top_p: 0.95
- top_k: 50
- do_sample: true
UI 滑块范围
聊天界面提供以下参数范围：一次调整一个
- 如果回复太随机 → 降低 temperature
- 如果回复太重复 → 提高 temperature
- 如果回复被截断 → 增加 max_tokens
- 如果回复太长 → 减少 max_tokens
系统化测试
对于重要应用：- 选择 5-10 个测试提示
- 尝试每个参数设置
- 比较输出
- 记录有效的方法
高级参数
Repetition Penalty
减少重复短语。- 1.0 - 无惩罚
- 1.1 - 轻微惩罚（推荐）
- 1.3+ - 强惩罚
Stop Sequences
当这些 tokens 出现时结束生成。- 对结构化输出有用
- 示例：
["\n\n", "User:"]
Do Sample
控制是否使用采样或贪心解码。- true (默认值) - 使用 temperature/top-p/top-k 进行采样
- false - 贪心解码（总是选择最可能的 token）
System Prompt
设置系统消息以指导模型行为。可在聊天界面设置面板中使用。 示例 system prompts：- “You are a helpful coding assistant. Provide concise code examples.”
- “You are a creative writing partner. Be imaginative and descriptive.”
- “You are a technical documentation expert. Be precise and thorough.”
参数效果总结
下一步
CLI 训练
使用 CLI 训练模型
Python API
程序化控制