Qui d’entre nous n’a pas secoué la tête ou le ventre de rire en lisant des réponses manifestement erronées ou en voyant les images de soldats asiatiques ou noirs de la Wehrmacht que les IA génératives avaient renvoyées comme résultat ?

Une telle IA peut-elle être aussi stupide ?C’est ce que beaucoup ont pensé. Mais dans la foulée, on assiste à une curieuse réaction : ces mêmes personnes – c’est-à-dire nous tous – qui venaient de sourire de l’absurdité de l’IA prennent volontiers pour argent comptant les résultats de ChatGPT ou Gemini, sans trop se poser de questions. Ces réponses doivent être vraies, ça a l’air génial, non ?

Comment en est-on arrivé à ce paradoxe qui devrait pourtant nous paraître évident ? Ce paradoxe a même un nom, même s’il n’est pas scientifique : il s’agit de l’effet amnésique de Gell Mann.

L’auteur populaire Michael Crichton a nommé cet effet d’après son ami physicien Murray Gell-Mann, qui avait remarqué comment, par exemple, les lecteurs de journaux, après avoir étudié un article erroné sur un sujet qu’ils connaissent eux-mêmes très bien, se contentent de secouer la tête et considèrent le compte rendu à ce sujet comme déformé, erroné et incompréhensible. Mais s’ils continuent à feuilleter un article sur un autre sujet qu’ils ne connaissent que peu, ils font presque entièrement confiance aux informations contenues dans cet article.

Pour reprendre les termes de Michael Crichton, qui a présenté cet effet pour la première fois dans un discours en 2002, voici ce qu’il en est :

En bref, l’effet amnésique de Gell Mann se présente comme suit. Vous ouvrez le journal et lisez un article sur un sujet que vous connaissez bien. Dans le cas de Murray : la physique. Dans mon cas, le show-business. Vous lisez l’article et constatez que le journaliste ne comprend rien ni aux faits ni au sujet. Souvent, l’article est tellement faux qu’il inverse la cause et l’effet. C’est ce que j’appelle les « routes mouillées provoquent la pluie ». Le journal en est plein.

Dans tous les cas, on lit avec agacement ou amusement les nombreuses erreurs d’une histoire, puis on passe aux affaires nationales ou internationales et on lit comme si le reste du journal était d’une manière ou d’une autre plus précis sur la Palestine que les conneries que l’on vient de lire. On tourne la page et on oublie ce qu’on sait.

C’est l’effet amnésique de Gell-Man. Je tiens à souligner qu’il ne fonctionne pas dans d’autres domaines de la vie. Dans la vie normale, si quelqu’un exagère ou ment constamment, on oublie vite tout ce qu’il dit. En justice, le principe juridique falsus in uno, falsus in omnibus, c’est-à-direfaux dans une partie, faux dans toutes, s’applique. Mais quand il s’agit des médias, nous pensons, contrairement aux preuves, qu’il vaut probablement la peine de lire d’autres parties du journal. Mais en réalité, il est presque certain que ce n’est pas le cas. La seule explication possible de notre comportement est l’amnésie.

Avec l’IA, on ne tourne pas la page, l’amnésie survient à l’invite suivante. Et c’est en quelque sorte compréhensible. En effet, il est vraiment fastidieux et chronophage de remettre en question chaque déclaration de l’IA, d’enquêter sur chaque détail et de rester méfiant. A cela s’ajoute le fait que l’IA a tendance à donner ses réponses avec une grande autorité. Ce qu’elle dit sonne tellement bien et est présenté avec une telle assurance qu’il ne nous vient même pas à l’esprit de rester sceptiques. Et cela arrive aux meilleurs d’entre nous : les journalistes, les avocats ou les blogueurs.