Module 9 sur 10, leçon 4 sur 5
Pratiquer
Évaluer un agent
Écrire le code
Tout tourne dans votre navigateur, sans installation, compte ni clé API. Le modèle est scripté : les résultats sont reproductibles.
function wilson(passes, n, z = 1.96) { // TODO return { low: 0, high: 0 };}function clearlyBetter(a, b) { // TODO return false;}Donner une compétence à l’agentMettre un intervalle sur un score
Ouvrir dans l’éditeurasync function evaluate(cases, agent, { runs = 3 } = {}) { let passes = 0; const failures = []; for (const testCase of cases) { for (let run = 0; run < runs; run += 1) { try { const output = await agent(testCase.input); if (testCase.check(output)) passes += 1;Réparer l’agentCorriger un évaluateur trop gentil
Ouvrir dans l’éditeurfunction calibrate(labels, threshold = 0.9) { // TODO return { agreement: 0, tpr: null, tnr: null, trustworthy: false };}module.exports = { calibrate };Donner une compétence à l’agentCalibrer un juge LLM
Ouvrir dans l’éditeurFil rouge
Fil rouge : écrivez 20 cas pour l’agent de remboursement, dont 5 pièges. Rejouez-les 3 fois. Notez le taux de réussite, le coût moyen par cas et les causes d’échec. Corrigez une cause et relancez : le score a-t-il bougé plus que le bruit ?
Pratiquer
- Evaluating AI Agents DeepLearning.AI
Inscription gratuite : 15 leçons vidéo, 6 exemples de code, 1 devoir noté.
Certaines ressources demandent un compte gratuit ou une clé API, parfois payante.