​

Métricas de Avaliação

​

Métricas de Classificação

​

Accuracy

Accuracy = Previsões Corretas / Total de Previsões

​

Precision & Recall

• Precision: Dos emails marcados como spam, quantos eram realmente spam?
• Recall: De todos os emails spam, quantos você pegou?

​

F1 Score

F1 = 2 × (Precision × Recall) / (Precision + Recall)

​

Métricas de Geração

​

Perplexity

• Modelo bom: Perplexity = 10-50
• Modelo ruim: Perplexity = 100+

​

BLEU Score

• BLEU = 0: Sem sobreposição
• BLEU = 1: Correspondência perfeita
• BLEU > 0.3: Geralmente decente

​

Avaliação Humana

• Esta resposta é útil?
• Este resumo captura os pontos principais?
• Esta tradução é natural?

​

Curvas de Loss

​

Training Loss vs Validation Loss

• Ambos diminuem
• Permanecem próximos
• Estabilizam eventualmente

• Training loss continua caindo
• Validation loss aumenta
• Gap se amplia

• Ambos permanecem altos
• Pouca melhoria
• Precisa de mais capacidade ou dados

​

Métricas Específicas por Tarefa

​

Image Classification

• Top-1 Accuracy: Classe correta é a previsão principal
• Top-5 Accuracy: Classe correta nas top 5 previsões
• Confusion Matrix: Veja quais classes ficam confusas

​

Object Detection

• mAP (mean Average Precision): Qualidade geral de detecção
• IoU (Intersection over Union): Quão bem as caixas se sobrepõem

​

NER/Token Classification

• F1 em nível de entidade: Entidades completas corretas
• Accuracy em nível de token: Tokens individuais corretos

​

Referência Rápida

​

Avaliação Aprimorada no AITraining

​

Habilitar Avaliação Aprimorada

aitraining llm --train \
  --model google/gemma-3-270m \
  --data-path ./data.jsonl \
  --project-name my-model \
  --use-enhanced-eval \
  --eval-metrics "perplexity,bleu"

​

Métricas Disponíveis

​

API Python

from autotrain.trainers.clm.params import LLMTrainingParams

params = LLMTrainingParams(
    model="google/gemma-3-270m",
    data_path="./data.jsonl",
    project_name="my-model",

    use_enhanced_eval=True,
    eval_metrics=["perplexity", "bleu"],
)

​

Métricas Personalizadas

from autotrain.metrics import register_metric

@register_metric("my_custom_metric")
def compute_custom_metric(predictions, references):
    # Sua lógica de pontuação personalizada
    score = ...
    return {"my_custom_metric": score}

# Então use no treinamento
params = LLMTrainingParams(
    ...
    use_enhanced_eval=True,
    eval_metrics=["perplexity", "my_custom_metric"],
)

​

Dicas Práticas

1. Sempre use conjunto de validação - Nunca avalie em dados de treinamento
2. Considere a tarefa - Accuracy nem sempre é melhor
3. Acompanhe tendências - Melhorar é mais importante que números absolutos
4. Múltiplas métricas - Nenhuma métrica única conta toda a história

​

Sinais de Alerta

• Accuracy de treinamento 100%, validação 60% → Overfitting
• Todas as métricas presas → Learning rate pode estar errado
• Métricas pulando ao redor → Batch size muito pequeno
• Pontuações perfeitas imediatamente → Vazamento de dados ou bug

​

Próximos Passos