Module 9 sur 10, leçon 3 sur 5
Les vidéos
Évaluer un agent
À regarder d’abord
How to evaluate agents in practice
Une pyramide à trois niveaux : tests des outils et paramètres, trajectoire, puis relecture humaine.
En anglais. Le clic charge le lecteur YouTube, qui peut déposer des traceurs.
AI Evaluations Clearly Explained in 50 Minutes (Real Example)
Le travail que la plupart sautent : lire les traces dans un tableur, annoter, regrouper, avant d’écrire la moindre métrique.
En anglais. Le clic charge le lecteur YouTube, qui peut déposer des traceurs.
LLM as a Judge: Scaling AI Evaluation Strategies
Grille ou comparaison par paires, et les biais à tester : position, longueur et préférence pour ses propres réponses.
En anglais. Le clic charge le lecteur YouTube, qui peut déposer des traceurs.
Si vous voulez aller plus loin
Facultatif, non compté dans la durée du module.
How to Systematically Setup LLM Evals
Une méthode complète sur un projet de tickets : tests unitaires, relecture humaine, puis juges alignés sur l’humain.
En anglais. Le clic charge le lecteur YouTube, qui peut déposer des traceurs.