Aller plus loin

Le contexte est un budget

Tout se dispute la même fenêtre : instructions, définitions d’outils, historique, résultats d’outils, et la place laissée à la réponse. Ce sont souvent les résultats d’outils qui la font déborder. Une seule requête en base peut renvoyer plus de texte que toute la conversation.

Trois techniques, de la moins chère à la plus coûteuse :

• Réduire la sortie des outils à la source : renvoyez les champs utiles à la tâche, et un moyen d’en obtenir plus.
• Retirer les anciens messages : c’est simple, mais chaque tool_use doit rester avec son tool_result, comme le montre l’exercice.
• Compacter : demandez à un modèle de résumer la partie ancienne. Cela garde plus de sens, mais coûte un appel et peut perdre un chiffre exact. Gardez donc les identifiants et les décisions hors du résumé.

Que rappeler ?

Une recherche par similarité seule ramène des souvenirs anciens et anodins. L’article sur les Generative Agents (Park et al., 2023) combine trois signaux :

score = α × recency + β × importance + γ × relevance
recency = decay ^ hours_since_last_access

La fraîcheur décroît de façon exponentielle. L’importance est notée à l’écriture, souvent par le modèle lui-même. La pertinence est la similarité avec la situation en cours. Les échelles diffèrent : normalisez-les avant de les additionner. Les poids de cet article sont un point de départ, pas un résultat transposable à vos données.

Le plus dur, c’est l’écriture

Lire des souvenirs est un problème de recherche. Les écrire est un problème de confiance. Un agent qui enregistre tout ce qu’il lit peut apprendre une chose fausse à partir d’un seul document, et continuer à y croire dans les sessions suivantes. Notez la source de chaque souvenir, fixez une date d’expiration aux faits qui vieillissent, et faites remplacer les anciennes entrées en cas de contradiction, au lieu de les empiler.

Les données personnelles ajoutent une limite légale. Le RGPD permet à une personne de demander l’effacement de ses données : vous devez donc retrouver tous les souvenirs qui la concernent. C’est bien plus difficile une fois ces informations fondues dans des résumés.