Anthropic décrit une architecture de mémoire destinée aux agents Claude qui travaillent sur plusieurs sessions. Le dispositif sépare la prise de notes pendant l’action et une phase différée, appelée « dreaming », chargée de vérifier, réorganiser et relier ces souvenirs.
Il ne s’agit pas de modifier les poids du modèle. La mémoire prend la forme de fichiers persistants que Claude peut relire plus tard. L’enjeu est de conserver les règles, les erreurs et les plans utiles sans accumuler une copie coûteuse et rapidement obsolète de chaque interaction.
Choisir ce qui mérite d’être conservé
Anthropic présente la mémoire comme une prédiction sur les besoins futurs. Lorsqu’un agent écrit une règle, il suppose qu’elle servira à une prochaine tâche. Il doit donc distinguer les faits vérifiés, les hypothèses et les informations déjà accessibles dans l’environnement.
Sur une épreuve de Continual Learning Bench, les générations récentes de Claude ont progressivement appris à fermer cette boucle. Les modèles les plus avancés enregistrent une règle, précisent comment elle a été vérifiée et signalent les pièges découverts. Des consignes trop rigides, comme ne mémoriser que les échecs, peuvent au contraire réduire le gain obtenu.
Un test sur Pokémon Red illustre le coût d’une mémoire mal sélectionnée. Claude Sonnet 3.7 avait produit 413 fichiers répartis dans 225 dossiers après environ 10 000 étapes, pour un seul badge obtenu. Fable 5 s’est limité à neuf fichiers, deux dossiers et un tableau de bord global, tout en gagnant quatre badges. La seconde approche privilégiait les stratégies et les objectifs plutôt que l’état du jeu, déjà visible à l’écran.
Le « dreaming » relit les traces
La phase de dreaming intervient entre les interactions. Claude relit les journaux de session, confronte ses notes aux événements d’origine, corrige les erreurs et peut produire de nouvelles représentations. Anthropic cite un cas où l’agent avait mémorisé le mauvais emplacement d’un bâtiment dans Pokémon. La relecture du transcript a permis de rectifier cette note avant la session suivante.
Cette consolidation peut aussi générer un wiki, avec des pages liées qui servent de carte à une base documentaire. Sur un corpus interne d’environ 350 000 fichiers et 420 millions de tokens, Anthropic a fait travailler des agents Opus 5 pendant 128 sessions. Sur 25 questions, le score fondé sur le wiki est passé de 13 % après deux sessions à 48 % après 128.
L’association du wiki et d’un outil de recherche a fait progresser le score agrégé de 54 % à 61 % au fil de sa construction, contre 53 % avec la recherche seule. Elle a également économisé environ 20 000 tokens par question. Sur une autre évaluation juridique exigeant de croiser plusieurs documents, le wiki a obtenu 87 %, contre 73 % pour la recherche directe.
Une mémoire utile, mais pas universelle
Anthropic souligne aussi les limites de la méthode. Une note erronée peut être réinjectée dans chaque session et propager une mauvaise décision. Un wiki peut devenir plus volumineux que les documents qu’il résume. Pour les questions dont la réponse se trouve dans un seul fichier, la recherche directe reste parfois aussi efficace.
Le mécanisme ajoute enfin un coût de calcul hors session. Son intérêt dépend donc de tâches assez longues et répétitives pour rentabiliser la consolidation. L’approche vise surtout les agents qui reviennent sur les mêmes projets, utilisent des outils et doivent apprendre de leurs propres erreurs sans réentraînement.
Source : Anthropic.
