Nous avons entendu parler plus que de raison de la désinformation (l’information volontairement fausse) et de la mésinformation (l’information involontairement fausse). Nous avons également reçu ces dernières années plus qu’une dose suffisante de conneries, proférées délibérément par quelqu’un qui ne se soucie guère de ce que les autres pensent de lui.

Après le bullshit, voici, grâce à l’IA, ce que nous avons décrit jusqu’à présent par euphémisme comme une hallucination et que nous appelons désormais « botshit ». Et celle-ci se distingue de la connerie à plusieurs égards. Car, premièrement, c’est l’IA qui le produit, qui ne peut plus se moquer de ce que les gens en pensent et de l’IA elle-même, et deuxièmement, l’IA le présente aussi avec une conviction sans égale.

La définition la plus scientifique du botshit est donnée dans l’étude Beware of Botshit: How to manage the epistemic risks of generative Chatbots

Les chatbots peuvent produire du contenu cohérent mais inexact ou inventé appelé « hallucinations ». Lorsque les gens utilisent ce faux contenu pour des tâches, cela devient ce que nous appelons de la « merde ».

Les auteurs de l’étude du Canada, d’Italie et de Grande-Bretagne comparent la définition, les types et les enseignements qu’ils en ont tirés entre les conneries et les botshit :

	Bullshit	Botshit
Définition	Contenu généré par l’homme qui ne tient aucun compte de la vérité qu’un humain applique ensuite pour des tâches de communication et de prise de décision	Le chatbot a généré du contenu qui n’est pas fondé sur la vérité (c’est-à-dire des hallucinations) et est ensuite utilisé sans esprit critique par un humain pour des tâches de communication et de prise de décision.
Types	Bullshit pseudo-raisonnées : des déclarations qui semblent profondes et significatives Bullshit persuasives : déclarations destinées à impressionner ou à persuader Bullshit évasives : déclarations qui évitent stratégiquement la vérité Bullshit sociales : déclarations qui taquinent, exagèrent, plaisantent ou trollent	Botshit intrinsèque : l’application humaine d’une réponse de chatbot qui contredit les données d’entraînement du chatbot Botshit extrinsèque : l’application humaine d’une réponse de chatbot qui ne peut pas être vérifiée comme étant vraie ou fausse par les données d’entraînement du chatbot.
Résultats	Les humains sont plus susceptibles de générer et d’utiliser de bullshit : – Plus ils sont inintelligents, malhonnêtes et peu sincères – On attend beaucoup d’eux qu’ils aient une opinion, et ils s’attendent à ce qu’ils s’en sortent sans problème. – Si leurs patrons racontent fréquemment des conneries. Les humains sont plus susceptibles de croire et de répandre de bullshit : – S’ils ont une faible capacité de réflexion analytique – Problèmes avec les choix de formation et de modélisation du transformateur LLM – S’ils pensent que c’est fait par un scientifique – S’il est attrayant, aligné sur les croyances existantes et semble crédible	Les chatbots sont plus susceptibles de générer des hallucinations que les humains pourront utiliser et transformer en botshit lorsqu’il y a : – Les problèmes de collecte de données, de prétraitement et de tokenisation limitent l’alignement des connaissances factuelles entre les données de formation et la réponse souhaitée Des invites ambiguës dirigent mal le chatbot Problèmes avec les choix de formation et de modélisation du transformateur LLM Problèmes liés aux efforts de réglage fin basés sur l’incertitude autour de la vérité terrain

Les circonstances dans lesquelles un examen des résultats présentés par les chatbots est un échec sont présentées dans une matrice :

Important	Travail de chatbot authentifié Les utilisateurs posent des tâches aux chatbots avec scepticisme, puis vérifient soigneusement les réponses pour en vérifier l’exactitude factuelle, la cohérence logique et la véracité. Exemples: tâches juridiques, sécuritaires et budgétaires.	Travail de chatbot automatisé Les utilisateurs attribuent systématiquement des tâches de routine et standard aux chatbots, puis utilisent les réponses pour une exécution efficace et détachée. Exemples: Tâches d’évaluation et de sélection des candidatures.
Sans importance	Travail de chatbot avancé Les utilisateurs demandent ouvertement aux chatbots de générer des idées et des concepts, puis d’évaluer, d’organiser, de combiner et de sélectionner parmi les réponses générées. Exemples: Tâches de brainstorming et de génération d’idées.	Travail de chatbot autonome Les utilisateurs délèguent de manière sélective des tâches à des chatbots disposant de la formation et de l’expertise appropriées, puis laissent les chatbots apprendre et s’adapter. Exemples: Tâches de support et d’assistance.
	Difficile à vérifier	Facilement vérifiable

Cette définition, cette répartition et cette catégorisation visent à aider les utilisateurs et les développeurs d’IA de texte génératif à mieux classer les déclarations des chatbots et à comprendre où il devient critique de vérifier à nouveau et d’intégrer des mécanismes de vérification appropriés dans les assistants d’IA autonomes. Les auteurs ont préparé une présentation plus claire, consultable ici :

Wer noch tiefer in generative KI eintauchen will,
dem/der sei mein neuestes Buch ans Herz gelegt:
Kreative Intelligenz: Wie ChatGPT und Co die Welt verändern werden.
Erhältlich im Buchhandel, beim Verlag und auf Amazon.