L’histoire derrière l’une des publications d’IA les plus influentes de ces dernières années est l’un des titres de l’édition actuelle du magazine Wired. En 2017, huit chercheurs en IA ont publié sur Google un article intitulé Attention Is All You Need (l’attention est tout ce dont vous avez besoin), en référence à la chanson des Beatles All You Need Is Love.
Les huit fatidiques chercheurs Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser et Illia Polosukhin ont décrit dans leur article comment les soi-disant transformateurs pouvaient traiter plus rapidement des passages de texte plus longs, comprendre plus de contexte et garder une plus grande vue d’ensemble en utilisant des calculs parallèles dans des réseaux neuronaux, au lieu d’utiliser des calculs séquentiels comme c’était le cas auparavant avec LSTM. Les réponses et les images générées ont surpassé la qualité des approches sans transformation précédentes.
À l’époque, les personnes impliquées, qui ont depuis toutes quitté Google et ont pour la plupart créé leur propre entreprise, n’avaient qu’une idée limitée de l’impact que leur papier aurait et de la révolution qu’il déclencherait en matière d’IA. En effet, le T dans le GPT de ChatGPT signifie Transformeur.
Ce qui est intéressant dans le cadre de cet article, ce n’est pas tant la manière dont les IA génératives sont maintenant sur toutes les lèvres et comment elles influencent tous les domaines de notre vie, mais plutôt l’environnement qui a permis de bonnes idées et l’innovation.
Les auteurs n’étaient pas seulement tous employés par Google, ils travaillaient également dans les mêmes bureaux. Les rencontres dans les couloirs et les conversations surprises pendant le déjeuner ont donné lieu à de grands moments. C’est ce que nous appelons aussi Return on Collision (ROC), c’est-à-dire le rendement des collisions, où les postes de travail permettent aux collaborateurs de se rencontrer par hasard et fréquemment. Que ce soit au déjeuner, dans les coins café, dans les couloirs ou – oui – dans les toilettes. Les bâtiments disposés en étoile chez SAP, avec toutes les machines à café et les toilettes au centre, ou le bâtiment de Pixar à Emeryville facilitent ce ROC.
Les huit chercheurs de Google sont également culturellement diversifiés. Six des huit auteurs sont nés en dehors des États-Unis ; deux autres sont les enfants de deux Allemands titulaires d’une carte verte qui ont séjourné temporairement en Californie et d’un Américain de la première génération dont la famille a fui les persécutions dans son pays d’origine.
Grâce à ces différents contextes culturels et expériences de vie, ce groupe a apporté un large éventail de connaissances et d’approches auxquelles il a pu faire appel pour résoudre ce problème épineux et trouver ainsi une solution innovante et influente. Bien sûr, des améliorations auraient encore été possibles. Ainsi, parmi les huit chercheurs, il n’y avait qu’une seule femme. Mais il n’est pas toujours nécessaire de cocher chaque dimension de la diversité pour générer davantage d’idées.
Pour nous et pour les « huit fatidiques », cela a porté ses fruits. Nous avons mis la main sur une technologie capable de changer positivement tous les aspects de la vie, et les chercheurs ont tous créé leur propre entreprise, à l’exception d’un seul qui travaille aujourd’hui chez OpenAI, l’entreprise phare des transformateurs de l’IA. Il nous appartient maintenant de promouvoir une telle culture de l’innovation au sein de nos organisations.