Détecteur de texte IA, accusé à tort et sans moyen de prouver

On peut vous accuser d’avoir écrit un texte avec une intelligence artificielle sans la moindre preuve, et vous n’aurez aucun moyen sérieux de démontrer le contraire. Je l’ai appris sur mes peintures, avant de comprendre que ça se jouait surtout sur du texte.

J’ai ouvert un compte Pinterest pour y montrer mes peintures. Elles n’y sont pas restées. Sous chacune, la plateforme avait glissé une petite mention grise, « Modifiée par IA », et je les ai retirées une par une plutôt que de les laisser vivre avec ça sur le dos.

Elles portaient pourtant toutes les heures passées dessus, et une ligne grise venait dire qu’une machine s’en était chargée. Inacceptable !

Une peinture numérique se peint, au sens propre. Écran et stylet à la place de la toile et du pinceau, et le même travail dessous, les couches, les empâtements. Le mot numérique fait déjà penser à une machine qui fabriquerait l’image toute seule, alors une étiquette officielle qui vient l’affirmer…

J’ai compris tout de suite d’où venait cette mention. Photoshop, qui me sert à peindre comme à préparer les mises en situation de mes toiles, inscrit dans le fichier les fonctions assistées par IA employées en chemin, un recadrage automatique, une retouche de rien du tout. Pinterest lit cette ligne au moment de l’envoi, et pose son bandeau.

Personne ne m’a rien demandé. Aucun humain n’a regardé l’image. J’ai écrit à Pinterest, et je n’ai pas le souvenir d’avoir reçu une réponse.

Ce qui m’est arrivé sur une image se joue tous les jours sur du texte, en plus flou encore, parce qu’il n’y a même pas de fichier à interroger. Un détecteur de texte IA ne lit ni métadonnée, ni signature, ni filigrane. Il regarde la forme des phrases, et il devine.

Le débat public tourne pourtant surtout autour du tricheur qui passerait au travers. Le faux positif fait beaucoup moins de bruit. Une personne accusée à tort peut perdre une note ou un client, et la réputation qui va avec, puis se retrouve devant une question à laquelle on ne sait pas répondre, celle de prouver qu’on n’a pas utilisé un outil.

Alors que lisent réellement ces machines, à quelle fréquence se trompent-elles, et que reste-t-il à celui qui doit démontrer qu’il a écrit lui-même ?

Web designer et artiste peintre numérique, je me tiens des deux côtés de cette histoire, celui qui publie et celui qui se fait étiqueter. Les chiffres qui suivent sortent des études elles-mêmes et non des résumés qui en circulent, et chacun porte son lien.

Que lit vraiment un détecteur de texte IA ?

Un détecteur de texte IA ne cherche aucune marque cachée, il mesure une ressemblance. La question qu’il traite est celle de la parenté de style, est-ce que ce texte ressemble à de la prose de machine. La signature, il ne sait pas la lire.

La différence est de nature. Un filigrane est une empreinte, il se vérifie avec une clé, et il appartient à celui qui l’a posée (j’ai raconté ailleurs où se cache vraiment le filigrane des textes IA, et pourquoi personne ne sait le lire aujourd’hui). Un détecteur, lui, fait du profilage.

Le pourcentage affiché ne dit d’ailleurs pas toujours la même chose d’un outil à l’autre. Chez certains, il correspond à la part du texte classée comme probablement produite par une IA ; chez d’autres, le calcul prend une autre forme. Une chose reste commune. Ce score ne prouve pas l’origine du texte.

Qu’est-ce que la perplexité d’un texte ?

La perplexité mesure à quel point un texte est prévisible. Basse, les mots s’enchaînent comme on les attendait. Haute, le texte bifurque et va chercher des tournures qui surprennent.

Vous la connaissez sans le savoir. Quand quelqu’un commence par « je vous souhaite une bonne… », le mot suivant vous est venu avant qu’il l’ait prononcé. Voilà une perplexité très basse. Si la phrase se terminait par un mot que personne n’avait vu venir, elle grimperait d’un coup.

Les modèles de langage écrivent avec une perplexité basse, parce qu’ils retiennent à chaque pas ce qui vient le plus naturellement. Les détecteurs se sont donc réglés là-dessus. Peu de surprise, verdict machine.

Et si vous écrivez clairement, sobrement, avec des phrases qui vont droit au but, vous venez de reconnaître votre propre écriture. C’est là que ça se gâte…

Les chiffres que personne ne met en avant

Les chiffres sérieux sont peu nombreux, mais leurs sources sont publiques et vous pouvez les ouvrir. Ils n’ont pas tous le même statut (une étude publiée dans une revue scientifique, l’analyse d’une université et les chiffres publiés par OpenAI sur son propre outil).

La plus documentée vient de Stanford. Une équipe y a fait passer sept détecteurs du commerce sur des copies d’examen, et publié ses résultats dans la revue Patterns, éditée par Cell Press. Les copies venaient du TOEFL, l’examen d’anglais que passent les étudiants dont ce n’est pas la langue maternelle. Si vous avez déjà rédigé quelque chose dans une langue qui n’est pas la vôtre, la suite vous concerne directement.

Le résultat tient en une ligne, et les auteurs l’écrivent sans détour.

« […] ont classé à tort plus de la moitié des copies du TOEFL comme produites par une IA »

Liang, Yuksekgonul, Mao, Wu et Zou, « GPT detectors are biased against non-native English writers », Patterns (Cell Press), 2023

L’étude relève un taux moyen de fausse alerte de 61,22 %. Sur quatre-vingt-onze copies, dix-huit ont été accusées par les sept détecteurs à l’unanimité, et quatre-vingt-neuf par au moins l’un d’entre eux. Quatre-vingt-neuf sur quatre-vingt-onze.

Sur des rédactions d’élèves américains de quatrième, en revanche, les mêmes outils frôlaient le sans-faute. Ce ne sont donc pas des machines aveugles. Ce sont des machines qui voient très bien une chose, et qui prennent cette chose pour une autre.

Quand une université fait le calcul

L’université Vanderbilt a désactivé le détecteur de Turnitin en août 2023, et elle a expliqué pourquoi avec une arithmétique que vous pouvez refaire de tête. L’établissement avait soumis 75 000 copies à Turnitin sur la seule année 2022. Le détecteur IA n’existait pas encore. Vanderbilt a appliqué à ce volume le 1 % de fausses alertes annoncé par l’éditeur.

Un pour cent ne vous alarme pas. Multiplié par 75 000, il devient tout autre chose. « Environ 750 copies d’étudiants auraient pu être étiquetées à tort. » Sept cent cinquante convocations possibles, dans une seule université, en une seule année… et l’éditeur, lui, ne se trompait que d’un pour cent.

L’université ajoute une phrase qui dépasse largement le cas de Turnitin. L’outil « ne donne aucune information détaillée sur la façon dont il décide qu’un texte vient d’une IA ». On accuse, et on ne motive pas.

Le mieux placé pour y arriver a renoncé

OpenAI a lancé son propre détecteur en janvier 2023, puis l’a retiré six mois plus tard. L’entreprise possédait le modèle, ses paramètres et ses données d’entraînement. Personne au monde n’était mieux placé pour reconnaître sa propre production… et c’est pourtant elle qui a jeté l’éponge.

Ses chiffres, elle les a publiés elle-même. « Le classifieur repère correctement 26 % des textes écrits par une IA, et étiquette à tort 9 % des textes humains. » Un texte de machine sur quatre repéré, un texte humain sur onze accusé.

La note ajoutée sur la page est restée en ligne depuis. « Depuis le 20 juillet 2023, le classifieur n’est plus disponible en raison de son faible taux d’exactitude. »

Cette date mérite de vous revenir en mémoire le jour où un service vous annoncera 99 % de fiabilité. Celui qui avait les clés de la maison a renoncé. D’autres continuent pourtant d’annoncer des taux de fiabilité qui frôlent la certitude… et de les facturer.

Les chiffres que je n’ai pas trouvés, et celui qui me gêne

Des mesures indépendantes existent pour Copyleaks et Originality.ai, mais elles portent sur des corpus et des versions précises des outils. De mon côté, j’avais cherché des mesures publiées sur Copyleaks, Originality.ai et Winston AI, et je n’avais trouvé que des pages commerciales, les leurs ou celles de leurs concurrents, sans protocole consultable.

Une étude universitaire de 2023 a testé douze outils publics et deux systèmes commerciaux, et son texte est en accès libre. Ses auteurs concluent que ces outils ne sont ni exacts ni fiables, mais leur biais principal ne va pas dans mon sens, ils classent trop souvent un texte de machine comme humain. Les pourcentages qui circulent sur ce sujet, dans un sens comme dans l’autre, valent ce que vaut la source qu’on peut ouvrir derrière… y compris quand ils vont dans le sens qui m’arrange.

Pourquoi une écriture claire est-elle prise pour une machine ?

Le profil que ces outils traquent est celui d’une écriture régulière, sobre et sans détour. Les chercheurs de Stanford avancent une explication à leur résultat, et elle est mécanique. Les copies de candidats non anglophones affichent une perplexité plus faible, faute d’une variété de vocabulaire aussi large que celle d’un locuteur natif.

Le détecteur ne voit donc pas une machine. Il voit un texte peu surprenant… et il a été réglé pour appeler ça une machine.

Ce qui suit est une déduction de ma part, je la donne comme telle, aucune étude ne l’a mesurée. Une écriture professionnelle soignée présente exactement le même profil statistique. Phrases construites, vocabulaire maîtrisé mais volontairement accessible, tournures qui vont au plus clair parce qu’on écrit pour être compris du premier coup.

Autrement dit, les personnes les plus exposées à une fausse accusation sont celles qui écrivent dans une langue apprise, et celles qui écrivent proprement. Si vous rédigez vos pages vous-même avec le souci d’être compris du premier coup, vous appartenez au second groupe. La maladresse, elle, protège très bien.

Une chose à garder en tête quand un verdict tombe sur un texte, donc. Un score élevé ne dit rien de son auteur. Il dit que le texte est lisse, et un texte peut être lisse pour une bonne dizaine de raisons qui n’ont rien à voir avec une machine.

Une preuve d’usage d’IA peut-elle être fabriquée ?

Le point suivant est le plus ignoré du débat, et c’est le plus lourd. Un attaquant peut poser une marque d’IA sur un texte qui n’en a jamais approché aucune.

Trois chercheurs de l’École polytechnique fédérale de Zurich l’ont démontré dans un travail présenté à la conférence ICML en 2024. En interrogeant un service filigrané un grand nombre de fois, on finit par reconstituer assez de sa règle secrète pour en imiter les effets.

Leur résultat, en une phrase.

« Pour moins de 50 dollars, un attaquant peut à la fois contrefaire et effacer des procédés de pointe considérés jusque-là comme sûrs, avec un taux de réussite moyen supérieur à 80 % »

Jovanović, Staab et Vechev, « Watermark Stealing in Large Language Models », ICML 2024

Deux verbes, et le second est celui dont personne ne parle. Effacer, c’est retirer la marque d’un texte de machine pour le faire passer pour humain. Contrefaire, c’est l’inverse, poser la marque sur un texte humain pour le faire passer pour une production de machine. Cinquante dollars, une soirée, et la preuve existe.

Ce que ça change pour vous est considérable. La pièce qui vous accuserait n’a pas besoin de venir de vous, ni même d’exister avant qu’on décide de vous ennuyer. Tout le débat public suppose pourtant un coupable qui se cache, jamais un accusateur qui fabrique.

Le point qu’il faut accorder à Anthropic

Ce résultat ne se transporte pas tel quel au filigrane de Claude, et sur ce terrain précis, Anthropic a fait le bon choix. Les chercheurs n’ont eu besoin d’aucune clé, ils interrogent le service filigrané de l’extérieur et reconstituent son comportement. Mais ils ont travaillé sur des procédés expérimentaux, pas sur celui de Claude.

Un laboratoire de la même école a ensuite testé SynthID-Text, le procédé dont Anthropic déclare s’inspirer. La contrefaçon n’y réussit que dans 4 % des cas, contre plus de 80 % sur les filigranes concurrents, et 15 % en triplant le budget d’attaque. Ces chiffres viennent d’un billet de laboratoire de décembre 2024, pas de la version relue par les pairs qui l’accompagne, et je les donne avec cette étiquette.

Le même travail montre l’envers du décor, ce filigrane s’efface facilement. L’arbitrage est donc lisible. Anthropic a retenu une version d’un procédé qui, dans le seul essai public dont on dispose, protège bien contre la fausse accusation et mal contre l’évasion. Compte tenu de ce qu’une fausse accusation coûte à quelqu’un, c’est probablement le bon sens des priorités, et il valait la peine de le dire au milieu d’un article qui égratigne le reste.

Ce que les éditeurs écrivent eux-mêmes

Anthropic présente sa propre marque comme un signal, jamais comme une preuve, et l’écrit en toutes lettres dans son centre d’aide. « Une marque détectée indique que le contenu a été traité par Claude, sans être pleinement concluante. »

La phrase suivante est encore plus utile, et c’est celle que je n’ai vue reprise nulle part. « L’absence de marque détectée ne signifie pas que le contenu n’a pas été produit ou traité par une IA. »

Les deux phrases se lisent ensemble. La marque présente n’accuse pas vraiment. La marque absente n’innocente pas du tout. Un dispositif qui ne tranche dans aucun des deux sens, voilà ce qu’on vous présente comme la grande nouveauté de l’été…

L’éditeur énumère d’ailleurs les cas où sa propre marque disparaît, un texte trop court, un texte fortement réécrit, un changement de format qui efface les métadonnées, un modèle antérieur à la mise en service. Cette franchise l’honore, et elle achève de ruiner l’idée qu’on tiendrait là un instrument de preuve.

Deux choses manquent, en revanche, et leur absence est parlante. Aucun taux d’erreur n’est publié, ni dans un sens ni dans l’autre. Et j’ai cherché sur les deux pages officielles une procédure permettant à quelqu’un de contester un résultat de détection, il n’y en a aucune.

L’étiquette qu’on ne décolle pas

Sur les images, le mécanisme est tout autre et le résultat identique. Là, il existe bien une donnée dans le fichier, et c’est justement ce qui rend l’affaire instructive.

Certains logiciels de création inscrivent dans l’image une mention normalisée qui décrit son origine. Le vocabulaire employé vient de l’IPTC, l’organisme international qui normalise les métadonnées des photos depuis le début des années quatre-vingt-dix, et il prend soin de distinguer deux situations.

D’un côté, trainedAlgorithmicMedia, défini comme « un média numérique créé par un algorithme, à l’aide d’un modèle d’intelligence artificielle entraîné sur des contenus capturés ». De l’autre, compositeWithTrainedAlgorithmicMedia, défini comme « une augmentation, une correction ou une amélioration à l’aide d’un modèle d’IA générative ».

La norme sépare donc l’œuvre fabriquée par la machine de l’œuvre humaine simplement retouchée. Elle fait exactement le travail qu’on attend d’elle. Et au moment de l’affichage, les deux cas ressortent sous la même petite mention grise.

Ce détail vous concerne plus que vous ne le pensez. Si vous publiez les photos de vos réalisations, de vos produits ou de votre atelier, il suffit d’un ciel rattrapé ou d’un fil électrique effacé pour que vos images partent avec cette ligne dans leurs métadonnées. Vous n’avez rien généré, vous avez retouché, et la plateforme affichera pourtant la même chose au visiteur.

Meta a vécu la même chose, en public

Des photographes se sont retrouvés étiquetés « Made with AI » sur Instagram pour une poussière effacée, et Meta a fini par reculer. L’entreprise a changé son libellé le 1er juillet 2024, en reconnaissant que « certains contenus comportant des modifications mineures faites avec de l’IA, comme des outils de retouche, portaient des indicateurs normalisés qui se voyaient alors étiquetés “Made with AI” ».

Parmi les photographes concernés figurait Pete Souza, ancien photographe officiel de la Maison-Blanche. Son commentaire, rapporté par TechCrunch, résume tout ce que j’ai ressenti devant mon propre bandeau. « Ce qui est agaçant, c’est que la publication m’a forcé à conserver la mention alors que je l’avais décochée. »

Pinterest fonctionne sur le même principe depuis le printemps 2025, en lisant ces métadonnées et en y ajoutant ses propres classifieurs, capables selon la plateforme de repérer un contenu produit par IA « même en l’absence de marqueur évident ». Un appel est prévu, il consiste à écrire au service d’assistance.

C’est ce que j’ai fait, et vous connaissez la suite.

Alors j’ai essayé quelque chose. J’ai affiché le même fichier sur mon écran, j’en ai pris une capture, et j’ai envoyé cette capture-là. Aucune étiquette. La même peinture, redevenue humaine, sans doute parce qu’elle avait perdu la mémoire de son passage dans un logiciel.

Je n’ai pas insisté, faute de temps. J’y reviendrai, et par la capture d’écran, puisque c’est la seule chose qui fonctionne… ce qui en dit assez long sur ce que ce dispositif attrape réellement.

Le principe est le même que sur le texte, à ceci près qu’une image, elle, laisse une trace dans son fichier. Ce que la machine sait vraiment, ce n’est pas qui a créé l’œuvre. C’est quel logiciel est passé dessus.

Que peut-on opposer à un verdict de détecteur ?

On ne prouve jamais après coup qu’on n’a pas utilisé un outil. On prouve seulement qu’on a travaillé, et cette preuve-là se constitue pendant, pas le jour de l’accusation.

Ce qui tient debout est d’une banalité rassurante. Vos brouillons successifs, avec leurs dates. Vos notes prises en amont. Les sources que vous avez ouvertes en chemin, et l’historique qui les accompagne. Un document qui conserve ses versions raconte une fabrication, et une fabrication ne s’improvise pas rétrospectivement.

C’est le même réflexe que le versionnage sur un site, où chaque modification s’enregistre avec sa date et son auteur. On ne le met pas en place en pensant à une accusation. On l’a le jour où la question se pose, ou on ne l’a pas.

Il reste une part d’injustice à laquelle aucun classeur ne répond. Un verdict de détecteur vous demande de démontrer votre innocence, il est rendu par un outil dont le taux d’erreur dépend du corpus et du protocole, et il n’existe devant lui aucun appel organisé. Face à quelqu’un qui brandit un score, la question utile porte moins sur sa valeur que sur son objet, et les pages liées plus haut y répondent mieux que n’importe quel argument.

Mes peintures, elles, ont quitté Pinterest et n’ont rien perdu de ce qu’elles étaient. L’étiquette ne disait rien d’elles… elle disait seulement quel logiciel les avait vues passer.

Questions fréquentes

D’autres questions sur la création et la vie d’un site trouvent leur réponse sur la page des questions fréquentes.

Sources

Les citations en anglais ont été traduites par Graph’Web Studio. Le texte d’origine est accessible via les liens.

Textes officiels et institutions

• IPTC, vocabulaire Digital Source Type
• IPTC, Pinterest uses IPTC metadata to signal AI-generated images, 10 mars 2025
• Vanderbilt University, Guidance on AI detection and why we’re disabling Turnitin’s AI detector, 16 août 2023

Documentation officielle d’un éditeur

• Anthropic, How Claude marks AI-generated content, centre d’aide
• Anthropic, How Claude’s text watermarking works, 14 août 2026
• Google, SynthID text detection, documentation développeur
• OpenAI, New AI classifier for indicating AI-written text, retiré le 20 juillet 2023
• Turnitin, Using the AI Writing Report
• Pinterest, Gen AI labels, centre d’aide

Recherche évaluée par les pairs

• Liang, Yuksekgonul, Mao, Wu et Zou, GPT detectors are biased against non-native English writers, Patterns (Cell Press), 2023
• Weber-Wulff et al., Testing of detection tools for AI-generated text, International Journal for Educational Integrity, 2023
• Jovanović, Staab et Vechev, Watermark Stealing in Large Language Models, ICML 2024
• Hyatt, Bienenstock, Firetto, Woods et Comus, Using aggregated AI detector outcomes to eliminate false positives in STEM-student writing, Advances in Physiology Education, 2025
• Van Vlasselaer, Van Droogenbroeck et Spruyt, Who wrote this ? Evaluating the reliability of AI detection tools in higher education, International Journal for Educational Integrity, 2026

Préprints et billets de laboratoire

• Jovanović, Gloaguen et Vechev, SRI Lab, ETH Zurich, Probing Google DeepMind’s SynthID-Text Watermark, 20 décembre 2024

Presse et rapports de secteur

• TechCrunch, Meta is tagging real photos as “Made with AI”, say photographers, 21 juin 2024
• TechCrunch, Meta changes its label from “Made with AI” to “AI info”, 1er juillet 2024
• TechCrunch, Pinterest launches new tools to fight AI slop, 30 avril 2025