Comme sorti de nulle part, ChatGPT a émergé l’année dernière dans l’esprit d’un public plus large, partagé entre peur et fascination. Il ne faut pas oublier que cette IA textuelle générative a déjà pris une place importante dans la vie de nombreuses personnes. Que ce soit chez les élèves qui utilisent ChatGPT pour faire leurs devoirs, dans les voitures où Mercedes et Volkswagen l’utilisent désormais comme assistant vocal avancé, dans la politique avec quelques exemples peu glorieux, ou même dans les entreprises qui accélèrent le déroulement de leurs processus.

Non seulement les taux d’adoption sont donc exceptionnellement élevés, mais le taux de développement de l’IA elle-même est également surprenant. Les IA hallucinent moins, deviennent plus prudentes dans leurs réponses, passent avec brio les examens les plus difficiles, et créent des images et des vidéos de plus en plus réalistes et indiscernables de la réalité. Et ce, en l’espace de quelques mois. Certains, qui affirmaient qu’une « IA ne pourra jamais faire cela », se voient démentis quelques semaines ou quelques mois plus tard.

Mais quelles sont les raisons pour lesquelles l’IA se développe aussi rapidement ? Tout d’abord, il convient de noter que le développement de l’IA elle-même a déjà plusieurs décennies de retard. Si les premiers fondateurs de la discipline de l’intelligence artificielle, dans les années 1950, pensaient que quelques étudiants encadrés par des professeurs seraient capables de recréer le cerveau humain en quelques semaines pendant l’été, la désillusion a rapidement suivi. Plusieurs hivers d’IA, de nombreux revers et des milliards gaspillés plus tard, le début des années 2010 a vu une succession plus rapide de percées qui ont attiré l’attention et l’imagination du public, avec le concours ImageNet, AlphaGo, les voitures à conduite autonome et ensuite ChatGPT.

En d’autres termes, l’IA n’est pas apparue du jour au lendemain, mais a connu quelques revers au cours des décennies qui l’ont menée là où elle est aujourd’hui. Bill Buxton, scientifique en chef chez Microsoft, a appelé cela le long nez de l’innovation (j’ai écrit à ce sujet, entre autres, dans mon livre Foresight Mindset). Chaque innovation technologique s’annonce bien avant sa percée, elle passe sous le radar et n’est visible que pour les experts. Chaque innovation existe déjà depuis au moins 15 ans avant de devenir visible pour le grand public, de passer pour ainsi dire au-dessus du radar, et il lui faut ensuite cinq années supplémentaires pour déployer ses effets.

Nous nous trouvons donc juste au-dessus du radar, dans la phase initiale où la technologie commence à produire ses effets. Cette visibilité implique de mobiliser davantage de ressources. Non seulement davantage de personnes veulent en faire partie et profiter des opportunités offertes par cette nouvelle technologie, mais des sommes d’argent croissantes sont également investies.

Le fait que de nombreux algorithmes et méthodes connus depuis des décennies, notamment les réseaux neuronaux ou l’apprentissage profond (deep learning), n’ont pu prouver leur puissance qu’avec les progrès réalisés entre-temps en termes de vitesse de calcul et de quantité de données disponibles, aide également. La victoire d’AlexNet au concours ImageNet 2012, a montré aux experts que cette combinaison était la voie la plus prometteuse vers des IA utilisables. Toute la scène a commencé à changer d’orientation.

Les critiques avanceront d’autres raisons : l’absence de réglementation et le fait de ne pas tenir compte des droits d’auteur ou des biais dans les données ont également contribué à un développement rapide – impitoyable à leurs yeux – qui laisse des dommages collatéraux.

Mais un autre facteur peut contribuer à la vitesse de développement élevée des progrès de l’IA, et c’est celui que souligne Yann LeCun. Le scientifique en chef du département d’intelligence artificielle de Meta, la maison mère de Facebook, mentionne une particularité de sa discipline qui s’applique à la manière de publier les progrès. Les articles scientifiques et le code source de l’IA sont presque exclusivement publiés sur arXiv ou OpenReview, qui devaient à l’origine servir d’archives publiques pour la prépublication d’études avant leur impression officielle selon un processus d’évaluation par les pairs courant dans le monde scientifique.

L’une des raisons pour lesquelles la recherche en IA progresse si rapidement n’est pas seulement la publication fréquente et précoce de preprints sur ArXiv et le partage de code open source, mais aussi le fait que la communauté de l’apprentissage automatique/de l’IA s’est largement libérée de l’étau des publications scientifiques à but lucratif et payantes.

Yann LeCun

One reason AI research has been progressing so fast is not just because of frequent and early publication of preprint on ArXiv and the exchange of open source code, but also because the ML/AI community has largely freed itself from the stranglehold of for-profit & paywalled… https://t.co/zs7jSxuWIW

— Yann LeCun (@ylecun) January 7, 2024

Dans certains domaines scientifiques, l’évaluation par les pairs prend des mois, voire des années, avant qu’un article soumis ne soit finalement imprimé et publié. Et ensuite, la plupart du temps, dans des revues auxquelles il faut s’abonner à grands frais auprès des instituts de recherche ou des praticiens. Ce processus paralyse aujourd’hui des domaines scientifiques entiers et la mise en œuvre pratique, comme en témoigne le fait que de nombreuses disciplines progressent de plus en plus lentement dans les nouvelles connaissances.

Dans le domaine de l’informatique et de l’IA, cela n’est pas possible ni praticable pour plusieurs raisons. Le développement exponentiel de la puissance de calcul, tel que l’a reconnu Gordon Moore, cofondateur d’Intel, dans sa loi de Moore, permet déjà de tester des méthodes de calcul intensif sur de courtes périodes. Et avec Internet, les données ont été générées et accessibles en masse. Pour les algorithmes qui nécessitent des quantités massives de données, c’est d’une importance capitale.

Dans le domaine de l’IA, nous avons souvent vu ces derniers mois des améliorations dans les jours qui ont suivi la publication de papiers sur arXiv. Pour devenir et rester pertinent en tant que chercheur en IA, il n’y a pas d’autre solution que de prépublier sur arXiv. Il est intéressant de noter que le processus d’évaluation par les pairs s’y déroule alors publiquement et surtout par l’application des algorithmes et des méthodes par d’autres groupes. Si les connaissances étaient valables, elles sont immédiatement et directement mises en pratique.

Cette rapidité dans le développement de l’IA et l’importance perçue de l’IA pour les entreprises, qu’elles développent ou appliquent l’IA, y conduit également à l’éclatement de processus propres rigides. Apple n’a donc pas pu faire autrement que de permettre à ses chercheurs et développeurs en IA de publier rapidement leurs propres études et articles. Un changement de culture pour cette entreprise d’ordinaire si secrète.

Mais la prochaine accélération, loin d’arXiv, est devant nous, et elle est liée à une particularité de ce domaine scientifique. Le produit de ce secteur a en effet la propriété de contribuer lui-même à sa propre amélioration. L’IA est capable de reconnaître de nouveaux modèles et d’explorer des voies bien plus rapidement que les humains. L’IA peut ainsi s’améliorer elle-même.

Ainsi, une IA de Google a déjà trouvé de nouveaux algorithmes de tri qui effectuent des tris jusqu’à trois fois plus rapidement que ceux générés par les humains. Nous passons donc d’une évolution exponentielle à une évolution supra-exponentielle. En tant qu’êtres humains, nous avons déjà du mal à comprendre les évolutions exponentielles, mais les évolutions supra-exponentielles sont encore une fois plus difficiles à appréhender.

Le développement de l’IA ne ralentira donc pas à terme, bien au contraire : il s’accélérera. Nous n’aurons donc pas de répit.

J’ai écrit beaucoup plus sur les derniers développements de l’IA (générative) et sur ce qu’elle va devenir dans mon livre (en allemand) Kreative Intelligenz, paru il y a un mois. Je dis bien sûr : acheter !