Parâmetros de Geração
Ajuste essas configurações para controlar a saída do modelo.Parâmetros Principais
Temperature
Controla a aleatoriedade nas respostas.Max Tokens
Comprimento máximo da resposta.Max tokens maior = tempo de geração maior.
Top-p (Nucleus Sampling)
Limita a seleção de tokens a uma probabilidade cumulativa.- 0.95 (padrão da UI) - Considere tokens até 95% da massa de probabilidade
- 0.9 - Ligeiramente mais focado
- 0.5 - Muito focado
Top-k
Limita aos k tokens mais prováveis.- 50 (padrão) - Considere os 50 tokens principais
- 10 - Muito focado
- 100 - Mais variedade
Combinações de Parâmetros
Q&A Factual
Escrita Criativa
Geração de Código
Conversa
Encontrando as Configurações Certas
Comece com os Padrões
As configurações padrão funcionam para a maioria dos casos:- temperature: 0.7
- max_tokens: 256
- top_p: 0.95
- top_k: 50
- do_sample: true
Intervalos dos Sliders da UI
A interface de chat fornece estes intervalos de parâmetros:Ajuste Um de Cada Vez
- Se as respostas estão muito aleatórias → diminua a temperatura
- Se as respostas estão muito repetitivas → aumente a temperatura
- Se as respostas são cortadas → aumente max_tokens
- Se as respostas estão muito longas → diminua max_tokens
Teste Sistematicamente
Para aplicações importantes:- Escolha 5-10 prompts de teste
- Teste cada configuração de parâmetro
- Compare as saídas
- Documente o que funciona
Parâmetros Avançados
Repetition Penalty
Reduz frases repetidas.- 1.0 - Sem penalidade
- 1.1 - Penalidade leve (recomendado)
- 1.3+ - Penalidade forte
Stop Sequences
Termina a geração quando estes tokens aparecem.- Útil para saída estruturada
- Exemplo:
["\n\n", "User:"]
Do Sample
Controla se deve usar amostragem ou decodificação gananciosa.- true (padrão) - Use amostragem com temperature/top-p/top-k
- false - Decodificação gananciosa (sempre escolhe o token mais provável)
System Prompt
Defina uma mensagem do sistema para orientar o comportamento do modelo. Disponível no painel de configurações da interface de chat. Exemplos de system prompts:- “You are a helpful coding assistant. Provide concise code examples.”
- “You are a creative writing partner. Be imaginative and descriptive.”
- “You are a technical documentation expert. Be precise and thorough.”
Resumo dos Efeitos dos Parâmetros
Próximos Passos
Treinamento CLI
Treine modelos com CLI
API Python
Controle programático