Les détecteurs d'IA sont trop peu fiables pour valider l'accusation
Fondés sur des logiciels probabilistes sujets aux erreurs et aux biais, ces soupçons ne reposent sur aucun élément solide et relèvent d'un emballement hâtif.
- HuffPost FranceRécap
Les détecteurs d'IA comme Pangram ne sont pas fiables pour juger l'authenticité d'un roman.
« Le logiciel, qui revendique être le plus performant parmi ses concurrents dans la détection de l’IA, ne constitue pas une source fiable, en raison de son potentiel lot d’erreurs, de ses « hallucinations » ou de ses biais culturels. »
- NumeramaAnalyse
L'impossibilité technique des détecteurs interdira toujours d'établir avec certitude si le roman utilise l'IA.
« En France, il sera sans doute impossible de trancher le cas de C’était ça ou mourir. Toute accusation, aussi appuyée soit-elle, relèvera toujours de la possibilité. »
Son argumentPangram ne fournit qu'une estimation statistique de ressemblance avec son corpus et ne peut détenir une certitude absolue.
« La réalité, c’est qu’il ne peut pas le savoir à 100%. Pangram fournit une estimation statistique fondée sur les propriétés du texte qui lui est soumis. » - Ouest-FranceAnalyse
L'incertitude sur la fiabilité des détecteurs empêche de valider les accusations contre le roman.
« Difficile donc de se prononcer sur la fiabilité des accusations lancées par Balance ton Claude. »
Son argumentLes travaux académiques ont mis en évidence un biais de détection défavorable aux auteurs non anglophones.
« En 2023, des chercheurs de l’université de Stanford se sont penchés sur la question et ont remarqué un manque de fiabilité concernant les textes rédigés par des auteurs non-anglophones. »