Une nuit, deux audits, une même note
Le 17 mai au soir, je termine la version 0.4.1 du Counterpart Toolkit et je décide de la soumettre à deux relectures externes. Je colle le manifesto et la quatorzaine de règles dans une session ChatGPT-4o, je colle exactement le même contenu dans Claude.ai sur le web. J'attends. Quelques minutes plus tard, les deux verdicts arrivent. Note 8/10 d'un côté. Note 8/10 de l'autre. Critiques quasi identiques sur l'apparat théorique (Bourdieu invoqué sans portée opérationnelle), suggestion identique de simplification, même angle sur la fraîcheur de l'instrumentation M1-M5. Mon réflexe initial tient trente secondes. Deux relecteurs indépendants, même note, mêmes critiques, la doctrine est calibrée juste, je peux publier.
Et puis je m'arrête. Parce que quelque chose, dans cette convergence trop nette, sonne comme un baromètre acheté en double exemplaire chez le même fournisseur.
Pourquoi deux IA convergentes ne sont pas deux mesures
Je comprends assez vite ce que la convergence mesure. Deux modèles de langage entraînés sur des corpus qui se recouvrent à très large proportion, qu'il s'agisse d'articles techniques, de repos GitHub publics, de discussions Stack Overflow ou de blogs des dix dernières années, produisent des erreurs corrélées. Ce qu'ils ont en commun, c'est leur intersection d'apprentissage, pas la réalité externe que je leur soumets. Quand les deux trouvent que l'apparat théorique est disproportionné, je n'apprends pas que c'est vrai. J'apprends que c'est ce que la statistique partagée de leurs deux corpus reconnaît comme un défaut typique d'un texte de ce format.
Certes, deux relecteurs humains qui convergent sont, eux, deux mesures séparées. Mais le parallèle est trompeur. Deux relecteurs humains ont des biographies disjointes, des lectures différentes, des écoles de pensée parfois opposées. Deux LLM partagent un substrat qui n'a pas cette texture. La corroboration croisée, en épistémologie classique, suppose l'indépendance des sources. Sur deux modèles statistiques entraînés sur les mêmes corpus, l'indépendance n'est pas donnée, elle est à démontrer, et elle ne l'est presque jamais.
Cette intuition m'a probablement épargné quelques jours de re-écriture inutile. Mais elle restait spéculative. Je voulais des sondes matérielles.
Trois sondes en trois jours
Première sonde, le soir même. Un autre projet où je travaille en parallèle, un repo de game dev sur Godot, m'avait poussé à étudier WebFetch la semaine précédente. Un assistant Claude m'avait affirmé que l'outil retournait « le texte OCRé complet d'un PDF de 25 MB » et j'avais bâti un pipeline d'ingestion sur cette claim. Je relance la commande dans la session courante, juste pour vérifier. Sortie brute en clair dans la console, maxContentLength size of 10485760 exceeded. La claim était techniquement impossible. Le pipeline reposait sur un mécanisme inexistant. Je n'avais pas testé parce que la formulation de l'assistant était confiante, structurée, et plausiblement vraie.
Deuxième sonde, le lendemain. Même substrate game dev. Un audit conversationnel m'avait orienté vers un blog technique présenté comme « contenant les 18 actions de régence du domaine », pile la matière que je cherchais. Avant de scraper, je fais un WebFetch sur l'index du blog. Retour brut, huit articles de chronique de développement, zéro article sur le sujet annoncé. La claim était une hallucination cohérente. Le format « blog d'untel contient X » est une combinaison statistique que le modèle produit volontiers, parce qu'elle est syntaxiquement plausible, sans qu'aucun mécanisme interne ne vérifie son existence factuelle.
Troisième sonde, ce matin, sur la doctrine elle-même. Un Claude externe partagé sur claude.ai a audité hier mon repo doctrine-counterpart et affirmé, captures à l'appui, que « 6 SKILL.md sur 6 ont un YAML frontmatter cassé », diagnostic présenté avec haute confiance, justifiant un déclassement à 7,5/10. Je lance ce matin un yaml.safe_load sur les douze SKILL.md du repo. Résultat brut, 11/12 OK, 1/12 cassé. Le défaut systémique annoncé n'existait pas. Le seul vrai cassé, l'évaluateur visuel ne l'avait pas isolé puisqu'il avait conclu « défaut systémique » sans cas individuel. Ce qu'il avait vu, c'est le rendu Markdown de GitHub qui mange le frontmatter et l'affiche comme tableau, une particularité de rendu d'hôte qui n'a rien à voir avec l'état du source brut.
Trois claims externes testées, trois falsifications. Pas une convergence partielle, pas une réfutation nuancée, trois claims sur trois tombées contre leur sonde. Le ratio aurait été indétectable sans test matériel.
La règle canonique, Am.R12 du Counterpart Toolkit v0.7
J'ai amendé R12 le 20 mai, deux jours après ces trois incidents. Le texte officiel.
« Toute claim formulée par une IA externe (autre Claude, ChatGPT, sparring conversationnel) à propos (a) du comportement d'un outil concret que vous pouvez sonder, (b) du contenu d'une ressource externe, (c) de la structure d'un système dont la vérité de terrain est échantillonnable, doit être testée matériellement avant d'être prise comme input d'une décision d'architecture. Coût du test ≈ 1 commande shell. Coût de la croyance non testée = pipeline entièrement basé sur un mécanisme inexistant. Deux revues d'IA externes convergentes sur le même diagnostic = une source pour les besoins de R5, pas deux, la corroboration cross-substrate indépendante exige un humain ou une sonde mécaniquement distincte (logs, métriques, exécution échantillon). »
Qui contesterait que deux relecteurs valent mieux qu'un seul ? Personne, et pourtant la formule mérite d'être démontée. Sur deux LLM, la convergence n'est pas une corroboration, c'est une convergence orpheline, une intersection statistique sans extériorité vérifiable. Trois contre-arguments matériels, en réponse à l'objection que j'aurais entendue d'un lead tech méta-IA il y a six mois.
D'abord, la statistique d'entraînement partagée. Deux modèles dont les corpus se recouvrent sur l'essentiel produisent des erreurs corrélées sur les mêmes plages syntaxiques. Leur accord mesure leur intersection d'apprentissage. Il semble que la convergence soit, dans ce cas, plus probable sur les énoncés typiques, c'est-à-dire ceux que le pré-entraînement reconnaît comme bien formés, que sur les énoncés vrais. Ce n'est pas la même chose.
Ensuite, l'hallucination corrélée sur les outils et les ressources. Sur les claims portant sur le comportement d'un tool précis ou le contenu factuel d'une ressource externe, deux modèles tendent à halluciner le résultat le plus plausible statistiquement, souvent faux, presque toujours formulé avec assurance. Mes trois sondes en sont l'illustration brute.
Enfin, le coût asymétrique. Une sonde matérielle coûte une commande shell, quinze secondes, parfois moins. Une décision d'architecture bâtie sur une convergence non testée peut coûter plusieurs jours-dev de re-do et un pipeline à refaire. R12 amendée arbitre ce coût asymétrique en rendant la sonde obligatoire avant tout commit qui prend la claim comme input.
Coda
Le réflexe à acquérir n'est pas la défiance. C'est la sonde. Et la sonde commence par soi, en appliquant R12 d'abord à mes propres assertions avant de l'imposer aux autres, en vérifiant mon propre repo par yaml.safe_load avant de croire un audit visuel qui flatte ou qui condamne. Un agent qui ne contredit pas matériellement n'est pas un counterpart, c'est une dactylo qui parle. Deux agents qui s'accordent sans qu'aucun ne soit testé ne forment pas deux relecteurs, c'est la même dactylo en duplicata. La règle tient en une commande.
# Avant d'adopter une claim externe sur tool/resource/structure :
$ <la commande matérielle qui aurait pu la falsifier>
Le repo, github.com/michelfaure/doctrine-counterpart. Am.R12 vit en clair dans CLAUDE.md, ses trois incidents fondateurs documentés dans v0.7-candidates.md. Si une seule de vos prochaines décisions d'architecture évite la croyance non testée, la règle s'est remboursée.
Counterpart Toolkit v0.7. R12 amendée le 20 mai 2026 sur N=3 incidents multi-substrate. Trois claims externes, trois falsifications, une commande shell chacune. Licence CC-BY-4.0.
Top comments (0)