aitraining llm --train \
  --model google/gemma-3-270m \
  --data-path ./data \
  --project-name my-model \
  --log wandb

aitraining llm --train \
  --model google/gemma-3-270m \
  --data-path ./data \
  --project-name my-model \
  --log tensorboard

tensorboard --logdir my-model/runs

# 使用 wandb 时默认启用可视化器
aitraining llm --train \
  --model google/gemma-3-270m \
  --data-path ./data \
  --project-name my-model \
  --log wandb

# 禁用终端可视化器
aitraining llm --train \
  --model google/gemma-3-270m \
  --data-path ./data \
  --project-name my-model \
  --log wandb \
  --no-wandb-visualizer

aitraining llm --train \
  --model google/gemma-3-270m \
  --data-path ./data \
  --project-name my-model \
  --logging-steps 10  # 每 10 步记录一次

aitraining llm --train ... 2>&1 | tee training.log

# 减小批次大小
aitraining llm --train --batch-size 1 ...

# 启用梯度检查点（默认开启）
# 如果禁用，重新启用：
# --disable-gradient-checkpointing false

# 使用梯度累积
aitraining llm --train \
  --batch-size 1 \
  --gradient-accumulation 8 \
  ...

# 启用自动批次大小查找
aitraining llm --train --auto-find-batch-size ...

# 使用量化
aitraining llm --train --quantization int4 ...

nvidia-smi -l 1  # 监控 GPU 使用情况

aitraining llm --train \
  --use-flash-attention-2 \
  --packing \
  --mixed-precision bf16 \
  ...

# 降低学习率
aitraining llm --train --lr 1e-6 ...

# 添加梯度裁剪
aitraining llm --train --max-grad-norm 0.5 ...

# 使用 fp32 而不是 fp16/bf16
aitraining llm --train --mixed-precision no ...

# 检查数据格式
import json
with open("data.jsonl") as f:
    for i, line in enumerate(f):
        try:
            data = json.loads(line)
            print(f"Line {i}: {list(data.keys())}")
        except:
            print(f"Line {i}: INVALID JSON")
        if i >= 5:
            break

# 预览数据处理
aitraining llm --train \
  --max-samples 10 \
  --epochs 1 \
  ...

aitraining llm --train \
  --save-strategy steps \
  --save-steps 500 \
  --save-total-limit 3 \
  ...

aitraining llm --train \
  --model ./my-model/checkpoint-500 \
  --data-path ./data \
  ...

# 实时 GPU 统计
watch -n 1 nvidia-smi

# GPU 内存使用随时间变化
nvidia-smi --query-gpu=memory.used --format=csv -l 5

# CPU 和内存
htop

# 磁盘 I/O
iostat -x 1