Engenharia de Software em IA Aplicada › Processamento de Dados e Fine-Tuning de Modelos

M09-A05 Avaliando modelos fine-tunados (A/B e métricas)

Prefere assistir?

A mesma aula em vídeo narrado, com legendas · 2:00

Nesta aula

Módulo 9 · aula 5 — precisão, consistência e comparação A/B

  • Medir precisão e consistência
  • Comparar modelos com testes A/B

Tempo de estudo sugerido: 40 min.

Créditos

  • IBM Technology — “LLM as a Judge: Scaling AI Evaluation Strategies” · trecho 00:03.70–00:09.60 · ver no YouTube
  • IBM Technology — “LLM as a Judge: Scaling AI Evaluation Strategies” · trecho 00:59.90–01:05.00 · ver no YouTube

Narração com voz sintética (Microsoft Edge TTS).

Processamento de Dados e Fine-Tuning de Modelos

  1. Quando fazer fine-tuning (e quando não)
  2. Preparando datasets JSONL para fine-tuning
  3. Fine-tuning via API da OpenAI
  4. LoRA e PEFT na prática
  5. Avaliando modelos fine-tunados (A/B e métricas)
  6. Projeto: modelo customizado para um domínio
Gerado 100% com IA, sem revisão humana. Roteiro, narração (voz sintética) e animações destes cursos são produzidos com inteligência artificial pelas skills abertas do course-forge no GitHub, sem curadoria ou revisão humana. Pode conter erros: consulte sempre as fontes originais citadas. Trechos curtos de vídeos de terceiros aparecem com crédito e link para o original. Uma publicação da L4Tec.