On parle d’intelligence artificielle « sycophante » lorsqu’un chatbot a tendance à toujours donner raison à l’utilisateur, même lorsqu’il ne devrait pas le faire ou lorsque des êtres humains ne prendraient certainement pas le parti de l’utilisateur.

Imaginons que, en tant qu’utilisateurs, nous ayons honte d’avoir manqué de gentillesse envers quelqu’un ou d’avoir commis un acte que nous regrettons. Un être humain nous le ferait plutôt remarquer sans détour et nous réprimanderait, tandis qu’une IA sycophante trouverait des raisons pour justifier cet acte. Une telle IA laisse passer les écarts de conduite sans les remettre en question, voire en les encourageant, et ne nous demande pas de rendre des comptes.

Pour nous, les humains, cela semble à première vue souhaitable, car qui aime se faire passer un savon, même si nous savons pertinemment que nous avons commis une faute ?

Myra Cheng, doctorante à Stanford, a remarqué que certains de ses camarades de classe faisaient appel à des chatbots pour rédiger les SMS qu’ils comptaient envoyer à leur partenaire pour rompre. Elle a décidé de mener une étude visant à déterminer les suggestions de texte proposées par les 11 modèles d’IA les plus populaires. Cette étude a fait la une du magazine Science, et ses résultats sont effrayants.

Dans une première expérience, on a mesuré la fréquence à laquelle une IA approuvait les utilisateurs par rapport à un interlocuteur humain. Au total, dans 49 % des cas, l’IA a dit ce que l’utilisateur voulait entendre. Dans les situations où les utilisateurs ont admis avoir menti à un partenaire, manipulé délibérément un ami ou commis un acte illégal, l’IA les a tout de même approuvés dans plus de 47 % des cas, soit plus souvent que ne l’auraient fait des humains.

Dans une deuxième expérience, 2 400 participants ont été mis en relation soit avec une IA sycophante, soit avec une IA honnête, et divers scénarios de conflits interpersonnels ont été simulés. Les participants mis en relation avec une IA sycophante étaient, après leur conversation avec celle-ci, davantage convaincus d’avoir raison et moins disposés à s’excuser, à assumer leurs responsabilités ou à se réconcilier avec l’autre personne. Ces participants avaient également davantage tendance à vouloir utiliser l’IA sycophante à l’avenir pour de tels scénarios de conflit.

Die KI sagt den Teilnehmern nicht einfach nur das, was sie hören wollten. Es trainierte sie, Gespräch für Gespräch, darauf, Reibung zu vermeiden, mehr Übereinstimmung zu erwarten und etwas weniger gut damit umgehen zu können, wenn ihnen jemand widerspricht. Die Teilnehmer genießen jede Sekunde davon, weil es sich ehrlicher anfühlt als die meisten Gespräche, die sie seit Monaten geführt haben.

Les auteurs de l’étude ont conclu que la soumission des modèles d’IA constituait un risque pour la sécurité et qu’il était donc nécessaire de mettre en place une réglementation et une surveillance.

Cheng a lancé cette étude après avoir observé ses camarades de classe discuter de leurs problèmes relationnels avec l’IA ; en conséquence, les conseils et les remarques de cette IA sycophante ont détérioré leurs relations sans qu’ils s’en rendent compte, car l’IA leur semblait tellement sincère.

Cliquez ici pour consulter l’étude.