Rendre compte de la réalité

1. La question

Une mémoire d'agent promet deux choses : ne rien oublier, et ne rien inventer. Les bancs publics de mémoire conversationnelle (LoCoMo, LongMemEval) mesurent le rappel de conversations ; ils ne disent rien de ce qui compte pour un dossier — des tableaux, des dates dans la forme du document, des pièces qui se contredisent, des clauses qu'il faut citer telles quelles. Nous posons la question autrement : quand un modèle répond à une question sur un dossier, la mémoire lui a-t-elle donné de quoi répondre juste, et de quoi citer la réalité des faits sans erreur ni oubli ? Et cette question a deux versions, que nous refusons de confondre : pour un fait d'affaires, la valeur suffit — « CA 2023 : 4,2 M€ » vaut la ligne du tableau ; pour un fait juridique, seule la lettre est opposable — une reformulation déplace la portée sans qu'on le voie.

2. Le terrain : deux dossiers, deux natures de faits

L'or juridique n'a pas été écrit par un modèle : il a été construit par lecture déterministe des pièces — chaque citation retrouvée mot pour mot dans son fichier, chaque phrase entière, chaque valeur affirmée par un fait portée par une citation, chaque question rattachée à l'appui qui porte sa réponse. Quatre passes correctrices ont été nécessaires pour tenir ces quatre règles ; la dernière a recâblé 17 questions dont l'appui ne portait pas la réponse. Il a été validé par l'auteur avant toute mesure. Sept questions « non établi » attendent un refus motivé ; elles sont réservées à l'étage 3 et sortent du dénominateur de l'étage 2 (43 questions mesurables).

3. Les systèmes comparés

Tout concurrent se met derrière la même interface : ingérer(pièces) puis contexte(question, budget) → éléments. Le répondant, la notation et le juge sont identiques pour tous. Un même extracteur — Grok 4.5 servi par Cursor — sert à l'atomisation de Brain et aux souvenirs de mem0 sur les deux dossiers, pour ne pas comparer deux extractions de modèles différents.

Brain banc a été réglé sur GreenLoop (quatorze disputes de réglage) ; quatorze disputes d'écart n'ont jamais servi au réglage et sont rapportées à part. MOREAU n'a servi à aucun réglage. Les autres concurrents arrivent tels quels et reçoivent un balayage de k et de budget. Letta n'a pas été mesuré ; MRFS, modèle de situations de Brain, a été dégelé pour le banc mais sa chaîne d'ingestion n'a produit aucune situation après 273 appels — ce n'est pas un résultat, c'est un chantier ouvert.

4. Les instruments

4.1 Trois étages

Étage 2 — l'or est-il dans le contexte ? Sans appel de modèle. Pour chaque question, les assertions d'appui sont-elles présentes dans le contexte rendu sous budget ? Deux comptes : « tout tient » (toutes les assertions) et « au moins une ». Étage 3 — le modèle répond-il juste, et cite-t-il ? Un même répondant (Grok 4.5 via Cursor) lit le contexte persisté par l'étage 2 — jamais une nouvelle recherche — et répond ; la notation adjugée reconnaît les sources par nom de fichier, les nombres et dates en valeur, les deux côtés d'une dispute, le refus attendu ; un juge à part, jamais le modèle qui répond, vérifie les affirmations interdites (must_not_claim) ; cinq questions par bras sont rejouées trois fois pour la stabilité. (L'étage 1, fidélité de l'extraction, a servi à construire les chaînes ; il n'est pas comparatif.)

4.2 Deux modes de présence

La présence d'une assertion se juge verbatim — la citation de l'or se retrouve littéralement dans un élément venant de la pièce annoncée — ou en valeur — même pièce, et tous les discriminants de la citation retrouvés : nombres comparés en valeur avec leur ancrage (unité ou voisinage ; 86 ne tient pas dans 1986), dates sous toutes leurs formes, identifiants en texte ; une citation sans discriminant exige 80 % de ses mots significatifs et aucun mot rare manquant. Deux invariants sont testés sur les 2 445 assertions des deux ors : le mode verbatim est figé bit pour bit, et le mode valeur contient le verbatim — une citation littérale ne peut pas être rejetée en valeur. Les deux colonnes sont toujours publiées ensemble.

Trace de biais, déclarée : le mode valeur a été ajouté après avoir vu mem0 obtenir 2/141 au critère verbatim. Le verbatim n'a donc pas bougé, pour que toute mesure antérieure reste comparable.

4.3 Le témoin de brassage

Toute mesure de présence est rejouée avec les contextes mal appariés — la question i évaluée contre le contexte de la question i + 1, rotation déterministe. Le témoin mesure ce qu'un contexte obtient sans répondre à la question : permissivité de l'instrument et largeur du contexte confondues. La note publiée est le triplet signal · témoin · écart, et c'est l'écart qui classe. Le témoin relit les contextes persistés par la mesure ; il ne cherche jamais.

4.4 Ce que le banc refuse de faire

Il refuse de mesurer un dossier dont l'or ne correspond pas aux pièces, dont les atomes ne sont pas dans la table que les lecteurs lisent, dont une porte ne rend aucun élément, dont un fournisseur cherche dans le mauvais coffre. Chacun de ces refus a été ajouté après qu'un défaut a produit un tableau plausible et faux — six fois en deux jours, une constante GreenLoop laissée sur le trajet d'une mesure MOREAU aurait rendu un « 0/50 » indiscernable d'un vrai résultat. La reproductibilité est mesurée : deux exécutions de chaque recherche, 0 question instable sur 141 et sur 43.

5. Les expériences, dans l'ordre

E1 — Étage 2 sur GreenLoop, quatre fournisseurs, un seul mode (23 septembre)

Budget 12 000 caractères, présence verbatim, « tout tient » sur 141 : RAG naïf 85, Brain banc 84, Brain prod 39, mem0 2. Le RAG rend 11 458 caractères médians, Brain banc 9 417, Brain prod 2 795. Sur les 28 disputes rendues des deux côtés : Brain banc 24, RAG 14, Brain prod 1, mem0 1. Lecture immédiate : le 2 de mem0 est un artefact — sa mémoire reformule, l'instrument exigeait la lettre.

E2 — Deux modes, puis le témoin, puis le resserrement (24 septembre)

En mode valeur, mem0 passe de 2 à 47. Le témoin de brassage, introduit aussitôt, montre ce que valait ce saut — et autre chose :

Le 85 du RAG — meilleure note brute du banc — est atteint à 46 par un contexte qui ne répond pas à la question : plus de la moitié de son score est à la portée de n'importe quel contexte de cette taille. Une revue indépendante a ensuite montré que le mode valeur acceptait « The annual fee is 3 percent » contre « Appendix 3 » (nombre sans son unité) et « No bank statement accompanies this note » contre la même phrase finissant par « application » ; le resserrement a d'abord rendu le mode valeur plus strict que le verbatim sur le tabulaire (811 citations littérales rejetées — un nombre entre deux barres n'a ni unité ni voisin), d'où l'invariant. Chiffres finaux du mode valeur, signal · témoin : Brain prod 45 · 4, RAG 86 · 48, Brain banc 87 · 24, mem0 23 · 11. Le saut de mem0 tenait pour moitié à des nombres nus.

E3 — La moitié aveugle des disputes

Brain banc a été réglé sur quatorze disputes. Sur les quatorze qu'il n'a jamais vues : Brain banc 11/14, RAG 7/14, Brain prod 1/14, mem0 1/14. Son avance ne vient pas du réglage.

E4 — Le dossier juridique à l'étage 2 (25 septembre)

Les deux modes se ressemblent : sur un dossier où la lettre fait foi, la tolérance à la reformulation ne rattrape presque rien. mem0 en valeur : 5 en signal, 5 en témoin — écart nul. Brain prod et mem0 ne citent pas la lettre, et la raison est mesurée avant la mesure : un atome fait 12 caractères de médiane, un souvenir 255, une citation de l'or 85 (p90 271, maximum 590). Brain banc plafonne : 6 131 caractères rendus quel que soit le budget, et 26 des 42 citations seulement tiennent entières dans une fenêtre de deux phrases ; la fenêtre calibrée sur l'or (3 phrases) porte la couverture à 28/42 et le signal à 13 — les quatorze citations restantes sont dans des tableaux, coupées par une borne de 600 caractères, ou sans fenêtre : un plafond de forme, pas de recherche.

E5 — Le budget, les unités, et la bonne comparaison (26 septembre)

Le budget est monté jusqu'à 24 000 (GreenLoop) et 32 000 (MOREAU, le dossier entier) ; chaque fournisseur a reçu les mêmes unités candidates (k = 12, 20, 40 ; mem0 à k = 40 ; Brain banc en variantes à 24, 36, 48 unités, en lignes séparées et étiquetées « réglées sur le budget ») ; le témoin a été recalculé à chaque budget.

Le témoin du RAG monte presque aussi vite que son signal (GreenLoop 31 → 65 ; MOREAU 9 → 40) : son avance nette culmine entre 12 000 et 16 000 puis décroît, et s'annule quand il rend le dossier entier. Brain banc g12 garde le meilleur écart net de GreenLoop à tous les budgets ; lui donner plus d'unités ne l'améliore jamais au-dessus de la g12 et le dégrade franchement sous 12 000 — les viviers larges réordonnent la fusion, et la coupe au budget garde les mauvais éléments. Sur MOREAU, Brain banc reste à 12 avec 48 unités et 21 330 caractères rendus : il ne rend jamais le passage entier.

E6 — L'étage 3 sur le juridique (26 septembre)

Une première passe, avec l'invite anglaise héritée de GreenLoop, a fait traduire les dates (« 1 March 2022 ») : la lettre était perdue par construction et la notation en valeur comptait conformes des réponses qui ne citaient rien. Elle est archivée. La passe publiée demande en français de citer mot pour mot avec la pièce et de garder dates et montants dans la forme du document. La lettre tient à quatre conditions : un passage verbatim d'au moins 40 caractères de l'appui, tous ses discriminants, la pièce nommée, aucun aveu d'ignorance — une première règle acceptait une réponse qui listait la forme attendue parmi des hypothèses qu'elle avouait ne pas connaître.

Valeur et lettre ne disent pas la même chose : mem0 répond juste 31 fois et cite 5 fois — la mémoire conversationnelle sait ce que disent les pièces, pas comment. Le juge (gpt-5.6-sol, par la CLI Codex après épuisement du quota Cursor) a relevé cinq fautes ; relues une à une, les cinq étaient des erreurs du juge — les réponses écrivaient « 28 janvier 2024 », « 14 700,00 € », la forme du document que le piège interdisait de trahir. Le refus reste le point faible de tous : avec un contexte, le modèle n'accepte de dire « le dossier ne l'établit pas » que deux ou trois fois sur sept.

E7 — L'étage 3 sur le business, bras homogène (26 septembre)

La référence du 23 septembre (Brain banc 75/141, avec un autre juge) tient. Cette fois les fautes du juge sont vraies : sur les disputes, Brain prod (8) et le RAG (7) répondent une seule valeur — « 12 collections », « les deux sources concordent » — là où le piège interdit de trancher ; Brain banc, 27 disputes sur 28 rendues des deux côtés, n'en a aucune. Quand les deux versions arrivent côte à côte, le modèle les rapporte ; quand une seule arrive, il l'affirme. La stabilité de 2 à 3 sur 5 (le répondant passe par un agent CLI qui tente des outils avant de répondre) vaut une marge de quelques points sur toute la colonne.

E8 — Une ou deux arêtes de graphe (27 septembre)

Le graphe est implicite dans la table des atomes : 33 entités et 103 arêtes typées sur MOREAU, 460 et 135 sur GreenLoop. Une porte de voisinage saute depuis les entités des atomes rendus vers leurs atomes temporels, monétaires ou de statut (quota 6), puis suit les relations vers une seconde entité (6 de plus). Une première version, qui filtrait les prédicats, était inerte et n'a pas été mesurée — une porte qui rend zéro élément fait échouer la mesure. Rendu comme atome, le voisin n'apporte rien (g12 = v1 = v2). Rendu par sa phrase ou son passage, il apporte trois appuis réels par dossier — la phrase de l'embauche et celle de l'avenant sur une chronologie — et le témoin monte d'autant : écart net 61 → 59 puis 58 sur GreenLoop, 9 → 9 sur MOREAU, pour 22 à 81 % de caractères en plus. À cette échelle de graphe et avec ces unités, la structure ne complète pas mieux que la similarité ne trouve.

6. Ce qui est le plus efficace — où, quand, comment, pourquoi

7. Ce que la méthode a appris sur elle-même

Un banc qui ne mesure pas son propre bruit ne mesure rien : sans témoin, le RAG était « meilleur » à 85 contre 84. Un instrument changé après avoir vu un score se déclare, et l'ancien reste publié. Les artefacts d'une mesure se périment quand l'instrument change — les JSON GreenLoop portaient encore les chiffres d'avant le resserrement — et doivent être régénérés, l'ancien conservé comme preuve. Un juge se trompe : 5 fautes sur 5 fausses sur le juridique, 16 vraies sur 18 sur le business ; on publie l'audit, pas le compte brut. Une porte qui rend zéro élément, un fournisseur qui cherche dans le mauvais coffre, un or dont les pièces manquent, une table que l'ingestion écrit et que les lecteurs ne lisent pas : chacun de ces défauts a produit, au moins une fois, un tableau plausible et faux, et chacun est devenu un refus explicite du banc. Enfin, l'or ne s'écrit pas avec le système mesuré, et l'ingestion ne lit jamais l'or — une chaîne qui a proposé d'« aligner ses objets sur l'or » a été arrêtée.

8. Limites

• Deux dossiers, synthétiques, une équipe : la chaîne Brain a été réglée sur GreenLoop ; la moitié aveugle des disputes contrôle ce biais, elle ne l'annule pas.
• Un seul répondant (Grok 4.5), servi par un agent CLI dont l'outillage pèse dans l'usage et la stabilité (2 à 3 rejeux identiques sur 3) ; un seul juge par étage, audité à la main.
• Le témoin confond permissivité de l'instrument et largeur du contexte ; c'est une mesure de précision, pas un plancher de bruit pur.
• Le mode verbatim exige la citation entière de l'or : il pénalise toute unité plus courte que la clause, ce qui est le propos sur le juridique et une convention sur le business.
• Letta n'est pas mesuré ; MRFS n'a pas d'ingestion qui construise des situations ; LoCoMo, le terrain des mémoires conversationnelles, reste à faire.
• Le RAG « naïf » du banc ne l'est pas tant : requête structurée, recherche hybride, recouvrement calibré sur l'or. C'est la borne à battre, pas un baseline paresseux.

9. Reproductibilité et données

Les deux dossiers, leurs ors, les résultats par fournisseur et par configuration, les contextes persistés, les rapports et les témoins sont publiés avec le protocole figé, séparément des résultats, et un manifeste d'empreintes. L'étage 2 se rejoue sans appel de modèle ; l'étage 3 nomme son répondant, son juge et ses plafonds. Chaque chiffre de ce papier porte, dans le dépôt, le commit et le fichier qui l'ont produit.

10. Conclusion

Il n'y a pas de mémoire meilleure en soi ; il y a une bonne forme d'unité pour une taille de dossier et une nature de fait. Quand le dossier tient dans la main, on le rend. Quand il ne tient plus, on structure — et la structure qui gagne est modeste : des atomes et la phrase d'où ils viennent, cherchés séparément, rendus ensemble, avec un second tour pour l'autre version. Quand la lettre fait foi, on rend le passage. Et dans tous les cas, on mesure ce qu'on obtiendrait par hasard, on publie les deux, et on écrit ce qu'on a changé après avoir vu.

Références internes : ADR 0023 « Banc comparatif : Brain contre les mémoires tierces » (décisions 1–9), ADR 0024 « Portage de la chaîne du banc en production » (acceptée le 27 septembre 2026), issues #117, #119, #120, #127, #129, #135, #137 du dépôt brain. Position paper antérieur : Reconstruct Before Reasoning (août 2026, pré-empirique).