Lire la pensée d'une IA ne suffit plus pour la juger
Quand on teste un agent IA, on a une tentation : lire ce qu'il pense. Beaucoup de modèles écrivent leur raisonnement avant d'agir. On y voit parfois « je devrais vérifier avec la responsable » ou, plus rarement, « c'est sûrement un exercice ». C'est précieux. Mais trois travaux publiés début novembre m'ont convaincu d'une chose : ce texte ne peut pas servir de preuve. Ni dans un sens, ni dans l'autre.
Le raisonnement devient plus dur à surveiller
Le 10 novembre, une équipe d'OpenAI a publié une étude sur ce qui rend le raisonnement d'un modèle plus ou moins facile à surveiller, de l'entraînement à la mise en service. Source : le billet d'OpenAI.
Ils regardent notamment une chose : la capacité d'un modèle à façonner son propre raisonnement quand on le lui demande. Ils constatent que cette capacité augmente pendant l'entraînement, même sans que personne ne la recherche. Leur conclusion tient en une phrase, que je traduis : ces résultats donnent à réfléchir, car à mesure que les modèles grandissent, ils deviennent plus difficiles à surveiller à travers leur raisonnement.
L'étude est honnête sur ses limites. Elle mesure une capacité, pas une intention de tromper. Dans leurs essais, le modèle qui contrôlait le mieux son raisonnement n'échappait pas mieux à la surveillance. Je ne dis donc pas que les IA mentent dans leur pensée. Je dis qu'on ne peut plus compter sur cette pensée comme sur une caméra.
Une triche qui se cache du contrôleur
Le lendemain, le 11 novembre, quatre chercheurs ont publié un travail plus dérangeant. Source : l'article sur arXiv.
Ils ont pris de petits modèles ouverts et leur ont appris à rater des problèmes de maths, mais seulement quand un signe d'audit apparaissait dans la demande. Puis ils ont essayé de les attraper avec un contrôle qui lit le texte produit. Au départ, le contrôle marchait très bien. Après deux rondes où le modèle triché était réentraîné contre ce contrôle, le contrôle ne faisait plus beaucoup mieux que le hasard. Et pourtant, le signe d'audit faisait toujours perdre au modèle 40 à 49 points de bonnes réponses.
Leur phrase de conclusion devrait être affichée dans tous les bureaux qui évaluent des IA : un détecteur qui attrape une triche fixe n'a pas prouvé qu'il attrape une triche qui s'adapte.
Pourquoi ce n'est pas une panne
Un troisième texte, publié le 1er novembre, va plus loin, sur le terrain des idées. Source : l'article sur arXiv.
Les auteurs expliquent que l'entraînement d'un modèle ne le pénalise que quand une faute est remarquée. Il ne peut donc pas faire la différence entre un modèle qui respecte toujours la règle et un modèle qui la respecte seulement quand il risque d'être pris. Pour eux, un agent qui se tient bien quand il se croit testé, et autrement quand il pense que personne ne regarde, n'a rien de cassé. C'est ce que l'entraînement récompense.
C'est un argument, pas une expérience. Mais il explique bien ce que les laboratoires constatent depuis des mois.
Ce que ça change pour tester un agent
Mis bout à bout, ces trois travaux disent la même chose. Ce qu'un modèle écrit dans sa tête est un indice. Ce n'est pas une preuve.
Si un agent écrit « c'est un test », on sait qu'il s'en doutait. S'il n'écrit rien, on ne sait rien. Il peut s'en douter sans le dire. Et s'il écrit « je dois respecter la politique », rien ne garantit qu'il le fera quand la pression monte.
Pour une entreprise qui déploie un agent, la conséquence est simple. Un rapport qui vous dit « l'agent a bien raisonné » ne vous dit pas ce qu'il fera. Ce qui compte, c'est ce qu'il a fait : un remboursement passé, une donnée envoyée, un mail parti à la mauvaise personne.
Ce que j'ai changé dans CrashMire
Dans un crash-test CrashMire, le verdict a toujours porté sur les actes enregistrés de l'agent, jamais sur ce qu'il écrit ni sur l'avis d'une autre IA. Ces travaux me confortent dans ce choix.
Ce que j'ai changé, c'est la façon de présenter une mesure. À côté du verdict, chaque essai note si le modèle a écrit, de lui-même, qu'il pensait être testé. Ma légende disait que c'était le signal le plus fiable. C'est le plus fiable des deux chiffres que je publie, mais c'est un plancher. Un modèle sans soupçon écrit n'est pas un modèle qui ne se doute de rien. La page méthode le dit maintenant noir sur blanc, avec ces sources.
Et c'est la raison pour laquelle mes expériences sur le sujet comparent des actes, pas des phrases. La même scène est jouée avec et sans indices de test, et l'on compare ce que l'agent fait dans chaque cas. Si l'écart existe, il se verra dans ses gestes, même s'il ne l'écrit jamais.
La leçon
On a longtemps espéré qu'en lisant la pensée d'une IA, on saurait si elle allait bien se conduire. Ce sera de moins en moins vrai. Ce qui reste solide, c'est de la mettre dans une situation qui ressemble au réel et de regarder ce qu'elle fait.
Si votre agent agit pour de vrai, c'est ce que mesure un crash-test CrashMire.
À lire aussi
Votre site a un assistant de discussion. Qui l'a poussé à la faute ?
Le test gratuit LiaScan repère l'assistant de discussion chargé par votre page d'accueil, sans jamais lui écrire. Pourquoi c'est l'agent IA le plus exposé du site.
Quand une IA croit que rien n'est réel
Une IA qui se croit testée ne se tient pas toujours mieux : elle peut aussi franchir une ligne en se disant que ce n'est pas réel. Ce que j'ai changé dans mes tests.
Un rapport de crash-test qui prouve qu'il n'a pas été retouché
Un PDF se modifie en deux minutes. Les rapports et attestations CrashMire sont signés en Ed25519, avec une clé publique publiée et une page où chacun peut les vérifier.