Une semaine avant la WWDC d’Apple, où Apple a présenté toutes sortes de choses pour masquer le fait que, malgré l’intégration de l’IA annoncée l’année dernière, l’entreprise n’a toujours rien de compétitif à proposer en matière d’IA, un groupe de chercheurs d’Apple a publié un document qui examine la « pensée » des modèles de langage.

Illusion de la pensée

Dans l’étude intitulée « L’illusion du raisonnement« , les chercheurs ont comparé de grands modèles de langage avec de grands modèles de raisonnement (Large Language Model LLM et Large Reasoning Model LRM) de différents fabricants. Au cours des derniers mois, les fabricants avaient présenté de tels LRM qui, lors de tâches plus complexes, prenaient plus de temps et essayaient des approches alternatives afin, d’une part, de cracher des affirmations correctes et non des hallucinations et, d’autre part, de permettre aux gens de comprendre de manière compréhensible l’approche du modèle.

Les chercheurs d’Apple ont découvert plus ou moins trois aspects :

1. pour les tâches simples, les LLM sont étonnamment meilleurs que les LRM ;
2. pour les tâches simplement complexes, les LRM sont bons ;
3. pour les plus complexes, les LRM s’effondrent

La conclusion des chercheurs d’Apple était que ni les LLM ni les LRM ne « penseraient » comme nous l’attendons des humains.

La réaction des détracteurs de l’IA a été rapide. Ils ont immédiatement attiré l’attention sur ce document en disant « Je vous l’avais bien dit ! L’IA ne peut pas penser ! Arrêtez de présenter l’IA comme intelligente ou pensante » ! Mais cette réaction est totalement exagérée et erronée, comme je le montrerai après la prochaine partie.

Mais tout d’abord, une réponse au papier qui traite du dispositif expérimental et des conclusions.

La réponse

Sous le titre « L’illusion de l’illusion du raisonnement« , le chercheur et C. Opus – Anthropics Claude Opus LRM – ont souligné que les chercheurs d’Apple avaient commis plusieurs erreurs à la fois.

Dans le cas du problème complexe de la tour de Hanoï, les chercheurs d’Apple ont confondu les limitations avec des erreurs de raisonnement. Dans le dispositif expérimental, le LRM avait un nombre limité de jetons disponibles – donc de mémoire – qui interrompait l’exécution. On ne peut donc pas en conclure que le LRM ne peut pas raisonner. C’est comme si un véhicule tombait en panne d’essence, mais la conclusion serait que ce véhicule ne peut pas vraiment rouler.

La critique des chercheurs qui ont répondu se réfère ici aussi, par la suite, au fait que les chercheurs d’Apple ne feraient généralement pas de distinction entre les restrictions pratiques et les restrictions de justification réelles.

Et pour finir, certains des problèmes posés, comme l’énigme de la traversée d’une rivière, sont indiqués comme critère K.O. pour les raisonnements erronés, bien qu’il n’y ait plus de solution pour ce type de problème à partir d’un nombre de critères N≥6. Or, dans le document des chercheurs d’Apple, ce sont précisément des exemples de ce type avec N≥6 qui ont été donnés au LRM comme tâche.

Dans leur réponse, les chercheurs soulignent que 1) les modèles ne peuvent pas utiliser plus de jetons que leur contexte ne le permet, que 2) l’évaluation programmatique peut négliger à la fois les capacités du modèle et les impossibilités de l’énigme et que 3) la longueur de la solution prédit mal la difficulté du problème.

En d’autres termes, toutes ces connaissances techniques sont précieuses, mais elles ne soutiennent pas l’affirmation selon laquelle la pensée est fondamentalement limitée.

Oiseaux et avions

Cette discussion néglige toutefois un aspect essentiel. Les modèles d’IA ne doivent pas penser comme les humains et ils ne pensent pas non plus comme les humains. Débattre de la capacité des IA à penser est donc une erreur.

Ce n’est pas parce que les avions ne battent pas des ailes comme les oiseaux que les avions ne peuvent pas voler. Ce n’est pas parce qu’un bateau ne se déplace pas comme un poisson qu’un bateau ne peut pas nager.

Elles ont été développées à des fins différentes et sont utiles dans leur domaine de conception. Ce n’est pas parce qu’une IA pense différemment d’un être humain, qu’elle propose une intelligence différente de celle de l’être humain, qu’elle est inutile ou stupide, surtout si l’on considère toutes les intelligences humaines stupides dont nous sommes entourés.

Et la raison pour laquelle les LLM sont meilleurs que les LRM pour les tâches simples est aussi facilement expliquée par une comparaison. Pour aller à la boulangerie du coin, le vélo suffit. Je n’ai pas besoin de prendre un avion à réaction pour aller chercher mon pain là-bas.

Dans mon livre sur l’IA paru en 2020, Quand les singes apprennent des singes, je mettais déjà en garde contre le fait d’assimiler ou de confondre les exigences posées à l’intelligence artificielle avec celles posées à l’intelligence humaine.

Tout comme Copernic nous a ouvert de toutes nouvelles perspectives en passant d’une vision du monde géocentrique, dans laquelle la Terre était considérée comme le centre des choses, à une vision du monde héliocentrique, centrée sur le Soleil, nous devrions nous détacher de la focalisation sur le concept anthropocentrique de l’intelligence pour parvenir à une forme et une définition générales. L’intelligence est un spectre multidimensionnel qui peut se présenter sous différentes formes adaptées à chaque espèce et à chaque machine. Une espèce ou une machine n’évolue à chaque fois que dans une petite partie de l’espace d’intelligence multidimensionnel total.

[…] Notre défi est que nous semblons avoir d’autres exigences envers les machines qu’envers les animaux. Nous n’attendons pas de notre chien qu’il descende les poubelles. Nous ne demanderons pas à notre chat de réceptionner le colis du livreur et d’apposer sa signature. Nous demandons simplement à ces animaux de chasser les cambrioleurs ou les souris et de poser pour des vidéos mignonnes de chiens et de chats. Alors que les tests d’intelligence pour les humains demandent aussi une certaine réflexion abstraite, l’intelligence sociale n’y apparaît presque pas. Pourtant, les chimpanzés ou les gorilles, par exemple, nous seraient nettement supérieurs dans ce domaine.

Dans cet espace d’intelligence multidimensionnel, nous voulons utiliser une intelligence complémentaire, c’est-à-dire une intelligence qui nous élargit, et non une intelligence qui nous remplace simplement.