Plantillas de Configuración

Copia estas plantillas y personalízalas para tu caso de uso.

Plantillas de Entrenamiento LLM

SFT Rápido (Modelo Pequeño)

Mejor para pruebas y datasets pequeños:

task: llm-sft
backend: local
base_model: google/gemma-3-270m
project_name: quick-sft

data:
  path: ./data.jsonl
  train_split: train
  valid_split: null
  chat_template: tokenizer
  column_mapping:
    text_column: text

log: wandb

params:
  epochs: 3
  batch_size: 4
  lr: 3e-5

SFT de Producción (Modelo 7B)

Para fine-tuning completo con LoRA:

task: llm-sft
backend: local
base_model: meta-llama/Llama-3.2-8B
project_name: production-sft

data:
  path: ./conversations.jsonl
  train_split: train
  valid_split: validation
  chat_template: tokenizer
  column_mapping:
    text_column: text

log: wandb

hub:
  push_to_hub: false

params:
  epochs: 3
  batch_size: 2
  gradient_accumulation: 8
  lr: 3e-5
  warmup_ratio: 0.1
  mixed_precision: bf16

  peft: true
  lora_r: 32
  lora_alpha: 64
  lora_dropout: 0.05

  use_flash_attention_2: true
  packing: true

  save_strategy: steps
  save_steps: 500
  save_total_limit: 1

Entrenamiento DPO de Preferencias

Para alineación de preferencias:

task: llm-dpo
backend: local
base_model: meta-llama/Llama-3.2-1B
project_name: dpo-aligned

data:
  path: ./preferences.jsonl
  train_split: train
  valid_split: null
  chat_template: tokenizer
  column_mapping:
    prompt_text_column: prompt
    text_column: chosen
    rejected_text_column: rejected

log: wandb

params:
  dpo_beta: 0.1
  max_prompt_length: 128
  max_completion_length: null

  epochs: 1
  batch_size: 2
  gradient_accumulation: 4
  lr: 5e-6

  peft: true
  lora_r: 16
  lora_alpha: 32

Entrenamiento ORPO

Optimización combinada SFT + preferencias:

task: llm-orpo
backend: local
base_model: google/gemma-2-2b
project_name: gemma-orpo

data:
  path: ./preferences.jsonl
  train_split: train
  valid_split: null
  chat_template: tokenizer
  column_mapping:
    prompt_text_column: prompt
    text_column: chosen
    rejected_text_column: rejected

log: wandb

params:
  dpo_beta: 0.1
  max_prompt_length: 128
  max_completion_length: null

  epochs: 3
  batch_size: 2
  lr: 5e-5

  peft: true
  lora_r: 16

Distilación de Conocimiento

Para comprimir modelos más grandes:

task: llm-sft
backend: local
base_model: google/gemma-3-270m
project_name: distilled-gemma

data:
  path: ./prompts.jsonl
  train_split: train
  valid_split: null
  chat_template: tokenizer
  column_mapping:
    text_column: text

log: wandb

params:
  use_distillation: true
  teacher_model: google/gemma-2-2b
  distill_temperature: 3.0
  distill_alpha: 0.7

  epochs: 5
  batch_size: 8
  lr: 1e-4

Plantillas de Clasificación

Clasificación de Texto

task: text-classification
backend: local
base_model: bert-base-uncased
project_name: sentiment

data:
  path: ./reviews.csv
  train_split: train
  valid_split: null
  column_mapping:
    text_column: text
    target_column: target

log: wandb

params:
  epochs: 5
  batch_size: 16
  lr: 5e-5

Clasificación Multi-Clase

task: text-classification
backend: local
base_model: microsoft/deberta-v3-base
project_name: categorizer

data:
  path: ./categories.csv
  train_split: train
  valid_split: validation
  column_mapping:
    text_column: content
    target_column: target

log: wandb

params:
  epochs: 10
  batch_size: 8
  lr: 1e-5
  warmup_ratio: 0.1

Clasificación de Tokens (NER)

task: token-classification
backend: local
base_model: bert-base-cased
project_name: entity-extractor

data:
  path: ./ner_data.json
  train_split: train
  valid_split: null
  column_mapping:
    tokens_column: tokens
    tags_column: tags

log: wandb

params:
  epochs: 5
  batch_size: 16
  lr: 5e-5

Plantillas de Visión

Clasificación de Imagen

task: image-classification
backend: local
base_model: google/vit-base-patch16-224
project_name: image-classifier

data:
  path: ./images/
  train_split: train
  valid_split: null
  column_mapping:
    image_column: image
    target_column: target

log: wandb

params:
  epochs: 10
  batch_size: 32
  lr: 5e-5

Detección de Objetos

task: object-detection
backend: local
base_model: facebook/detr-resnet-50
project_name: detector

data:
  path: ./coco_format/
  train_split: train
  valid_split: null
  column_mapping:
    image_column: image
    objects_column: objects

log: wandb

params:
  epochs: 20
  batch_size: 8
  lr: 1e-4

Modelo Visión-Lenguaje (VQA)

task: vlm:vqa
backend: local
base_model: google/paligemma-3b-pt-224
project_name: vlm-vqa

data:
  path: ./vqa_data.jsonl
  train_split: train
  valid_split: null
  column_mapping:
    image_column: image
    text_column: text
    prompt_text_column: prompt

log: wandb

params:
  epochs: 3
  batch_size: 2
  lr: 5e-5
  gradient_accumulation: 4

  peft: true
  lora_r: 16
  lora_alpha: 32

Plantillas Avanzadas

Barrido de Hiperparámetros

task: llm-sft
backend: local
base_model: google/gemma-3-270m
project_name: sweep-experiment

data:
  path: ./data.jsonl
  train_split: train
  valid_split: validation
  chat_template: tokenizer
  column_mapping:
    text_column: text

log: wandb

params:
  use_sweep: true
  sweep_backend: optuna
  sweep_n_trials: 20
  sweep_metric: eval_loss
  sweep_direction: minimize

  # Base parameters (sweep will vary these)
  epochs: 3
  batch_size: 4
  lr: 3e-5

  peft: true
  lora_r: 16

Sentence Transformers

task: sentence-transformers:pair_score
backend: local
base_model: sentence-transformers/all-MiniLM-L6-v2
project_name: embeddings

data:
  path: ./pairs.csv
  train_split: train
  valid_split: null
  column_mapping:
    sentence1_column: sentence1
    sentence2_column: sentence2
    target_column: score

log: wandb

params:
  epochs: 3
  batch_size: 8
  lr: 3e-5

Uso

Guarda cualquier plantilla como config.yaml y ejecuta:

aitraining --config config.yaml

Básicos de CLI

Configuración

Comandos de Entrenamiento

Uso Avanzado

Inferencia

Plantillas de Configuración

Plantillas de Configuración

Plantillas de Entrenamiento LLM

SFT Rápido (Modelo Pequeño)

SFT de Producción (Modelo 7B)

Entrenamiento DPO de Preferencias

Entrenamiento ORPO

Distilación de Conocimiento

Plantillas de Clasificación

Clasificación de Texto

Clasificación Multi-Clase

Clasificación de Tokens (NER)

Plantillas de Visión

Clasificación de Imagen

Detección de Objetos

Modelo Visión-Lenguaje (VQA)

Plantillas Avanzadas

Barrido de Hiperparámetros

Sentence Transformers

Uso

Próximos Pasos

Configuraciones YAML

Entrenamiento LLM

​Plantillas de Configuración

​Plantillas de Entrenamiento LLM

​SFT Rápido (Modelo Pequeño)

​SFT de Producción (Modelo 7B)

​Entrenamiento DPO de Preferencias

​Entrenamiento ORPO

​Distilación de Conocimiento

​Plantillas de Clasificación

​Clasificación de Texto

​Clasificación Multi-Clase

​Clasificación de Tokens (NER)

​Plantillas de Visión

​Clasificación de Imagen

​Detección de Objetos

​Modelo Visión-Lenguaje (VQA)

​Plantillas Avanzadas

​Barrido de Hiperparámetros

​Sentence Transformers

​Uso

​Próximos Pasos

Configuraciones YAML

Entrenamiento LLM

Plantillas de Configuración

Plantillas de Entrenamiento LLM

SFT Rápido (Modelo Pequeño)

SFT de Producción (Modelo 7B)

Entrenamiento DPO de Preferencias

Entrenamiento ORPO

Distilación de Conocimiento

Plantillas de Clasificación

Clasificación de Texto

Clasificación Multi-Clase

Clasificación de Tokens (NER)

Plantillas de Visión

Clasificación de Imagen

Detección de Objetos

Modelo Visión-Lenguaje (VQA)

Plantillas Avanzadas

Barrido de Hiperparámetros

Sentence Transformers

Uso

Próximos Pasos