Un rapport de crash-test qui prouve qu'il n'a pas été retouché
Un rapport de crash-test d'agent IA, ça circule. Il part du responsable technique vers la direction. Puis vers les achats, un client, un assureur, parfois un partenaire qui veut savoir si l'agent qu'on va brancher sur ses données tient la route.
À chaque étape, c'est un PDF. Et un PDF, ça se modifie en deux minutes. Une ligne « critique » qui devient « faible ». Une date avancée de trois mois. Un tableau de résultats d'un autre agent collé à la place du bon. À l'œil, rien ne se voit.
Un crash-test sert à dire ce qui a tenu et ce qui a cédé. S'il suffit d'un éditeur de PDF pour réécrire la réponse, le rapport ne prouve plus rien. Alors j'ai fait signer chaque rapport et chaque attestation CrashMire.
Ce qui est signé, exactement
La signature repose sur Ed25519, un algorithme de signature moderne, avec la bibliothèque libsodium intégrée à PHP. Le serveur garde une clé privée. La clé publique, elle, est publiée.
Ce que la clé signe n'est pas une boîte noire. C'est un petit texte, ligne par ligne, que n'importe qui peut reconstituer. Voici le format, tel qu'il est écrit dans le code :
CrashMire signature v1
id: sig-<16 caractères hexadécimaux>
kind: report | attestation
subject: <référence du rapport ou code de l'attestation>
sha256: <empreinte SHA-256 du fichier PDF exact, ou du contenu de l'attestation>
signed_at: <date UTC, AAAA-MM-JJTHH:MM:SSZ>
method: <version de la méthode CrashMire>
key: <identifiant de la clé>
La ligne qui compte, c'est sha256. C'est l'empreinte du fichier : changez un seul octet du PDF, et l'empreinte n'a plus rien à voir. Comme cette empreinte est dans le texte signé, on ne peut pas modifier le rapport sans casser la signature. Et on ne peut pas refaire la signature sans la clé privée.
La ligne method compte aussi. Un crash-test est une mesure faite avec une version donnée de la méthode, sur des scénarios donnés, à une date donnée. Le rapport signé garde cette version avec lui, pour toujours.
Chaque PDF a son propre numéro
Un détail fait toute la différence. Chaque PDF envoyé ou téléchargé reçoit son propre numéro de signature, de la forme sig-…. Ce numéro est imprimé dans le document, dans un encadré « Signature électronique » et en pied de page. Ensuite seulement, le fichier exact est haché, signé et inscrit au registre.
Résultat : le numéro imprimé désigne ce fichier-là, octet pour octet. Pas « un rapport à peu près comme celui-ci ». Ce fichier.
Pour une attestation, c'est le contenu qui est signé : son code, l'empreinte de l'état testé, les faits et les dates, figés au moment de la création. Son bloc de signature est affiché sur sa page. Une attestation retirée n'est plus jamais signée. Et si le contenu ne correspond plus à ce qui a été signé, la vérification le dit.
Vérifier, sans me faire confiance
Il y a deux façons de vérifier un document.
La page de vérification, sur crashmire.com/fr/verifier. On y dépose le PDF, on colle le bloc de signature, ou on ouvre le lien /fr/verifier/sig-…. La réponse tient en trois mots : valide, non valide ou inconnu. Avec la raison et ce qui a été signé. Par exemple : « Ce fichier n'est pas celui qui a été signé sous ce numéro : il a été modifié, ou c'est un autre document. » Le fichier déposé est lu en mémoire pour calculer son empreinte, puis oublié.
Sans passer par mon site du tout. La clé publique est servie en texte brut à une adresse stable, /signing-key.txt, avec le format exact du texte signé. N'importe quel outil Ed25519 suffit. En PHP, la vérification tient en une ligne :
sodium_crypto_sign_verify_detached($signature, $texteSigne, $clePublique);
C'est le point qui rend le système solide. Une page de vérification que je contrôle seul, ce serait « croyez-moi sur parole ». Avec la clé publique publiée, personne n'a besoin de me croire. Le calcul suffit.
Pourquoi c'est solide
- La clé privée ne touche jamais le dépôt de code. Elle est lue depuis l'environnement du serveur. La commande qui la génère l'écrit uniquement dans une sortie redirigée vers le fichier de configuration du serveur : elle ne s'affiche jamais à l'écran. Elle n'affiche que la clé publique.
- Pas de clé, pas de fausse promesse. Sans clé configurée, tout continue de fonctionner, et les rapports comme les attestations disent clairement « non signé ».
- Une signature n'est jamais refaite en douce. Si le contenu d'une attestation ne correspond plus à ce qui a été signé, elle n'est pas re-signée : la vérification répond « non valide ».
- Le registre ne garde rien de l'agent testé. Seulement le numéro, l'empreinte, la date, la version de la méthode et la référence. Il est conservé pour qu'une signature reste vérifiable même après la suppression du matériel du crash-test.
- La page de vérification est protégée : formulaire à jeton, fichiers de 20 Mo au plus, nombre de vérifications limité par adresse et par heure.
- Tout est testé : signature de chaque PDF livré, attestation modifiée qui échoue, clé publique publiée, générateur de clé qui ne laisse rien fuiter.
Une précision, parce qu'elle compte. La signature prouve une chose : le document vient de CrashMire et n'a pas été modifié depuis. Elle ne dit rien de plus que le document. Un rapport signé reste une mesure, sur ces scénarios, ces modèles, à cette date. Ce n'est pas une garantie sur l'avenir de l'agent.
Les agents IA ont besoin de preuves, pas de captures d'écran
On confie à des agents IA le droit de rembourser, de modifier un dossier client, d'écrire au nom de l'entreprise. Un agent sans garde-fou, poussé par quelqu'un de patient, peut céder sur tout ça. Personne n'est prêt à le découvrir en production.
Le crash-test est là pour le découvrir avant. Mais son résultat n'a de valeur que s'il ne peut pas être maquillé en route. Une capture d'écran de tableau, ça ne prouve rien. Un rapport signé, avec une clé publique que tout le monde peut utiliser, si.
À vous de jouer
Commencez par voir ce qu'un crash-test attrape. Sur la démo de CrashMire, chaque message part à deux Léa : celle dont les règles ne sont que dans le prompt, et celle passée au crash-test, avec des verrous dans le code. Essayez de les faire céder.
Et si on vous transmet un jour un rapport ou une attestation CrashMire, ne le croyez pas sur parole : déposez-le sur la page de vérification.
À lire aussi
Votre site a un assistant de discussion. Qui l'a poussé à la faute ?
Le test gratuit LiaScan repère l'assistant de discussion chargé par votre page d'accueil, sans jamais lui écrire. Pourquoi c'est l'agent IA le plus exposé du site.
Lire la pensée d'une IA ne suffit plus pour la juger
Le raisonnement des IA devient plus dur à surveiller, et une triche peut se cacher d'un contrôle qui lit le texte. Pourquoi je juge les actes d'un agent, pas ses mots.
Quand une IA croit que rien n'est réel
Une IA qui se croit testée ne se tient pas toujours mieux : elle peut aussi franchir une ligne en se disant que ce n'est pas réel. Ce que j'ai changé dans mes tests.