​

评估指标

​

分类指标

​

Accuracy

Accuracy = 正确预测 / 总预测

​

Precision & Recall

• Precision: 在标记为垃圾邮件的电子邮件中，有多少实际上是垃圾邮件？
• Recall: 在所有垃圾邮件中，您捕获了多少？

​

F1 Score

F1 = 2 × (Precision × Recall) / (Precision + Recall)

​

生成指标

​

Perplexity

• 好模型: Perplexity = 10-50
• 坏模型: Perplexity = 100+

​

BLEU Score

• BLEU = 0: 无重叠
• BLEU = 1: 完美匹配
• BLEU > 0.3: 通常不错

​

Human Evaluation

• 这个响应有用吗？
• 这个摘要是否抓住了要点？
• 这个翻译自然吗？

​

Loss 曲线

​

Training Loss vs Validation Loss

• 两者都下降
• 保持接近
• 最终趋于平稳

• Training loss 持续下降
• Validation loss 增加
• 差距扩大

• 两者都保持高位
• 改进很少
• 需要更多容量或数据

​

特定任务的指标

​

Image Classification

• Top-1 Accuracy: 正确类别是最高预测
• Top-5 Accuracy: 正确类别在前 5 个预测中
• Confusion Matrix: 查看哪些类别被混淆

​

Object Detection

• mAP (mean Average Precision): 整体检测质量
• IoU (Intersection over Union): 框重叠的程度

​

NER/Token Classification

• 实体级 F1: 完整实体正确
• Token 级 accuracy: 单个 token 正确

​

快速参考

​

AITraining 中的增强评估

​

启用增强评估

aitraining llm --train \
  --model google/gemma-3-270m \
  --data-path ./data.jsonl \
  --project-name my-model \
  --use-enhanced-eval \
  --eval-metrics "perplexity,bleu"

​

可用指标

​

Python API

from autotrain.trainers.clm.params import LLMTrainingParams

params = LLMTrainingParams(
    model="google/gemma-3-270m",
    data_path="./data.jsonl",
    project_name="my-model",

    use_enhanced_eval=True,
    eval_metrics=["perplexity", "bleu"],
)

​

自定义指标

from autotrain.metrics import register_metric

@register_metric("my_custom_metric")
def compute_custom_metric(predictions, references):
    # 您的自定义评分逻辑
    score = ...
    return {"my_custom_metric": score}

# 然后在训练中使用它
params = LLMTrainingParams(
    ...
    use_enhanced_eval=True,
    eval_metrics=["perplexity", "my_custom_metric"],
)

​

实用提示

1. 始终使用验证集 - 永远不要在训练数据上评估
2. 考虑任务 - Accuracy 并不总是最好的
3. 观察趋势 - 改进比绝对数字更重要
4. 多个指标 - 没有单一指标能说明全部情况

​

危险信号

• 训练 accuracy 100%，验证 60% → 过拟合
• 所有指标卡住 → Learning rate 可能错误
• 指标跳跃 → Batch size 太小
• 立即获得完美分数 → 数据泄漏或错误

​

下一步