Die Geschichte hinter einem der einflussreichsten KI-Veröffentlichungen der letzten Jahre ist einer der Aufmacher aktuellen Ausgabe des Wired-Magazins. Im Jahr 2017 publizierten acht KI-Forscher bei Google ein Paper mit dem Titel Attention Is All You Need (Aufmerksamkeit ist alles, was du brauchst), in Anspielung an den Beatles-Song All You Need Is Love.
Die schicksalhaften acht Forscher Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser und Illia Polosukhin beschrieben in ihrem Paper, wie sogenannte Transformer mit parallelen Kalkulationen in neuronalen Netzen statt wie bisher sequentiell, wie es bei LSTM üblich war, und damit längere Textpassagen rascher behandeln, mehr Kontext verstehen und eine größere Übersicht behalten konnten. Die generierten Antworten und Bilder übertrafen die Qualität der bisherigen transformerlosen Ansätze.
Damals ahnten die Beteiligten, die mittlerweile alle Google verlassen haben und großteils eigene Unternehmen gegründet haben, nur bedingt, welchen Einfluss ihr Paper haben und eine KI-Revolution auslösen würde. Denn das T im GPT von ChatGPT steht für Transformer.
Interessant ist für diesen Beitrag aber weniger, wie nun generative KIs in aller Munde sind und wie sie sämtliche Bereiche unseres Lebens beeinflussen, als vielmehr das Umfeld, das gute Ideen und die Innovation ermöglichte.
Die Autoren waren nicht nur alle bei Google angestellt, sie arbeiteten auch in denselben Büros. Begegnungen auf dem Flur und belauschte Gespräche beim Mittagessen führten zu großen Momenten. Wir nennen das auch Return on Collision (ROC), also Ertrag durch Kollisionen, bei denen Arbeitsplätze es erlauben, dass Mitarbeitende zufällig und häufig einander begegnen können. Sei es beim Mittagessen, in den Kaffeeecken, auf den Fluren oder – ja – den Toiletten. Die sternförmig angeordneten Gebäude bei SAP mit allen Kaffeemaschinen und Toiletten im Zentrum oder das Gebäude von Pixar in Emeryville erleichtern diesen ROC.
Die acht Googleforscher sind auch kulturell vielfältig. Sechs der acht Autoren wurden außerhalb der Vereinigten Staaten geboren; zwei anderen sind Kinder von zwei Deutschen mit Greencard, die sich vorübergehend in Kalifornien aufhielten, bzw. von einem Amerikaner der ersten Generation, dessen Familie vor Verfolgung in seinem Heimatland geflohen war.
Mit diesen unterschiedlichen kulturellen Hintergründen und Lebenserfahrungen brachte diese Gruppe ein breites Spektrum an Wissen und Ansätzen mit, auf die sie bei dem kniffligen Problem zurückgreifen und damit eine innovative und einflussreiche Lösung finden konnte. Natürlich wären noch Verbesserungen möglich gewesen. So befand sich unter den acht Forschern nur eine Frau. Aber es muss ja nicht immer jede Dimension der Diversität angekreuzt werden müssen, um mehr Ideen zu generieren.
Für uns und für die „schicksalhaften Acht“ hat es sich ausgezahlt. Wir haben eine Technologie in die Hände gekriegt, die alle Aspekte des Lebens zum Positiven verändern kann, und die Forscher gründeten alle ihre eigenen Unternehmen mit der Ausnahme von einem, der heute bei OpenAI arbeitet, dem Leuchtturm-Unternehmen der KI-Transformer. Nun liegt es an uns, auch in unseren Organisationen eine solche Innovationskultur zu fördern.