Kolibrí
📐Curso pago

Evaluación de sistemas con LLM

Cómo saber si tu cambio de prompt mejoró algo o rompió otra cosa: datasets, LLM como juez y sus sesgos, y suites de regresión.

📐

Evaluación de sistemas con LLM

🎓 3 niveles📚 12 lecciones

1. Por Qué Necesitás Evals

  • El problema: no sabés si tu cambio mejoró algo
  • Tu conjunto de evaluación: de dónde sale y cómo se arma
  • Qué se puede medir de verdad, y qué no
  • El error de los números pequeños

2. LLM como Juez

  • LLM como juez: cómo funciona y por qué se usa tanto
  • Los sesgos del juez, y qué hacer con cada uno
  • Calibrar el juez contra humanos
  • Rúbricas que producen acuerdo

3. Evals en tu Ciclo de Trabajo

  • La suite de regresión: que un arreglo no rompa lo de antes
  • Offline y online: dos preguntas distintas
  • Trazas: sin observabilidad no hay diagnóstico
  • Tu sistema mínimo de evals, funcionando esta semana

$10pago único

¿Te interesan más cursos?

Con Kolibrí Pro tenés acceso a todo el catálogo, incluidos los cursos nuevos, desde $19/mes.

Ver todos los planes
Ver todos los cursos