​

Hyperparâmetros

​

Os Três Essenciais

​

Learning Rate

• Muito alto (0.01): Modelo pula ao redor, nunca converge
• Muito baixo (0.00001): Leva uma eternidade para treinar
• Perfeito (0.00002): Melhoria constante

• Fine-tuning: 2e-5 a 5e-5
• Treinamento do zero: 1e-4 a 1e-3

​

Batch Size

• Pequeno (8): Mais atualizações, menos estável, precisa de menos memória
• Grande (128): Menos atualizações, mais estável, precisa de mais memória

• GPU limitada: 8-16
• Boa GPU: 32-64
• Múltiplas GPUs: 128+

​

Epochs

• Muito poucos (1): Underfitting, modelo não aprendeu o suficiente
• Muitos (100): Overfitting, memorizou dados de treinamento
• Perfeito (3-10): Bom equilíbrio

​

Configurações Secundárias

​

Warmup Steps

Steps 0-500: Learning rate vai de 0 → 2e-5
Steps 500+: Learning rate permanece em 2e-5

​

Weight Decay

• Padrão: 0.0 (para fine-tuning LLM)
• Sem regularização: 0
• Regularização forte: 0.1

​

Gradient Accumulation

Tamanho efetivo do batch = batch_size × gradient_accumulation_steps

​

Padrões Específicos por Tarefa

​

Text Classification

learning_rate = 5e-5
batch_size = 8
epochs = 3
warmup_ratio = 0.1

​

Language Model Fine-tuning

learning_rate = 3e-5  # Padrão AITraining
batch_size = 2
epochs = 1
warmup_ratio = 0.1
weight_decay = 0.0
gradient_accumulation = 4

​

Image Classification

learning_rate = 1e-4
batch_size = 32
epochs = 10
warmup_ratio = 0.05

​

Quando Ajustar

• Loss explode ou vira NaN
• Accuracy pula ao redor selvagemente
• Nunca converge

• Loss mal diminui
• Treinamento leva uma eternidade
• Preso em desempenho ruim

• Sem memória → reduza batch size
• Treinamento instável → aumente batch size
• Use gradient accumulation se memória limitada

​

Valores de Início Rápido

# Padrões seguros para a maioria das tarefas
learning_rate = 2e-5
batch_size = 16
epochs = 3
warmup_ratio = 0.1
weight_decay = 0.0

​

Configurações de Avaliação

​

Dicas Pro

1. Comece com padrões - Não pense demais inicialmente
2. Mude um de cada vez - Mais fácil ver o que ajuda
3. Registre tudo - Rastreie o que funciona para seus dados
4. Use conjunto de validação - Monitore overfitting

​

Próximos Passos