Engenharia de Software em IA Aplicada › Fundamentos de IA e LLMs para Programadores

M01-A03 Como um LLM funciona: tokens, embeddings e attention

Prefere assistir?

A mesma aula em vídeo narrado, com legendas · 1:50

Nesta aula

Módulo 1 · aula 3 — tokens, embeddings e atenção

  • Explicar o caminho token → embedding → attention → próximo token
  • Relacionar a attention ao uso de contexto em ChatGPT, Gemini e outros

Tempo de estudo sugerido: 25 min.

Créditos

  • 3Blue1Brown — “Transformers, the tech behind LLMs | Deep Learning Chapter 5” · trecho 02:02.00–02:09.50 · ver no YouTube
  • 3Blue1Brown — “Attention in transformers, step-by-step | Deep Learning Chapter 6” · trecho 02:00.10–02:06.20 · ver no YouTube
  • 3Blue1Brown — “Attention in transformers, step-by-step | Deep Learning Chapter 6” · trecho 10:10.70–10:16.80 · ver no YouTube

Narração com voz sintética (Microsoft Edge TTS).

Fundamentos de IA e LLMs para Programadores

  1. De Turing aos LLMs: a linha do tempo da IA
  2. ML, deep learning, tensores e redes neurais em 2 minutos
  3. Como um LLM funciona: tokens, embeddings e attention
  4. Sua primeira rede neural em JavaScript
  5. ML no navegador: vídeo, jogos e deep learning na prática
  6. Prompt engineering para codar, debugar e documentar
  7. Cursor, VS Code e Windsurf: IDEs com IA e vibe coding
  8. Cursor rules: a IA programando do jeito do seu time
  9. MCPs e automação: IA que testa, lê docs e navega
  10. RAG, embeddings e busca semântica com JavaScript e Postgres
  11. Modelos abertos x fechados: OpenRouter e Ollama
  12. Agentes de IA: decisões em etapas e agentes que programam
Gerado 100% com IA, sem revisão humana. Roteiro, narração (voz sintética) e animações destes cursos são produzidos com inteligência artificial pelas skills abertas do course-forge no GitHub, sem curadoria ou revisão humana. Pode conter erros: consulte sempre as fontes originais citadas. Trechos curtos de vídeos de terceiros aparecem com crédito e link para o original. Uma publicação da L4Tec.