Aller plus loin

Notez le cas d’usage avant de construire

Cinq questions éliminent la plupart des mauvais projets :

• Variabilité : le chemin change-t-il vraiment d’un cas à l’autre ? Sinon, écrivez un workflow.
• Coût de l’erreur : combien coûte une erreur, et peut-on l’annuler ?
• Volume : y a-t-il assez de répétition pour rembourser la construction ?
• Données : les outils et les sources sont-ils accessibles et fiables ?
• Résultat mesurable : pouvez-vous dire, sans avis subjectif, si une tâche est bien faite ?

Le vrai coût par tâche

Les tokens sont souvent la plus petite ligne. La somme complète : le coût du modèle, plus le temps humain de chaque escalade, plus le coût moyen des erreurs.

coût = modèle + taux d’escalade × coût humain + taux d’erreur × coût d’une erreur

À 5 € de temps humain par tâche, un agent qui coûte 0,10 € par exécution, escalade 20 % des cas et se trompe dans 1 % des cas à 50 € l’erreur revient à 1,60 €. Passez le taux d’erreur à 5 % et le coût d’une erreur à 500 €, et il revient à 26,10 €. Même modèle, décision inverse. C’est la justesse qui fait les chiffres.

Déployez par étapes

1. Observation : l’agent tourne sur de vraies demandes, et sa sortie est comparée à ce qu’ont fait les humains. Personne ne la voit, et il n’agit pas.
2. Assistance : il rédige, et une personne relit chaque résultat. Suivez la fréquence de ses corrections : c’est votre vrai taux d’erreur.
3. Canari : il agit sur une petite part des demandes, avec des seuils qui déclenchent un retour en arrière.
4. Autonomie bornée : un périmètre plus large, avec des relectures par échantillon et des plafonds stricts.

if (killSwitch.on || budget.exceeded(run)) return handToHuman(request);
if (!canary.includes(request.userId)) return legacyFlow(request);
return agent.run(request);

Prévoyez l’interrupteur

Un arrêt d’urgence doit fonctionner sans déploiement, et quelqu’un doit avoir le droit de l’utiliser. Décidez à l’avance du sort des exécutions en cours, et de la destination des demandes quand l’agent est coupé. Si plus personne ne sait faire le travail à la main, vous n’avez plus de solution de repli : gardez cette compétence vivante.

Surveillez le déclin silencieux

La qualité dérive quand les modèles, les données ou les usages changent, même si votre code ne bouge pas. Suivez le taux d’escalade, le taux de correction humaine, le coût par tâche et un échantillon de résultats relus. Figez les versions de modèle, et relancez vos évaluations avant d’en changer.