Eine Woche vor Apples WWDC, wo Apple alles mögliche vorgestellt hat, um zu übertünchen, dass trotz der bereits letzten Jahres angekündigten KI-Integration das Unternehmen noch immer nichts Wettbewerbsfähiges zum Thema KI vorweisen kann, brachte eine Gruppe an Apple-Forschern ein Paper heraus, dass das „Denken“ von Sprachmodellen einer Prüfung unterzog.

Illusion des Denkens

In der Studie mit dem Titel „Die Illusion des Denkens“ verglichen die Forscher große Sprach- mit großen Begründungsmodellen (Large Language Model LLM und Large Reasoning Model LRM) verschiedener Hersteller. In den letzten Monaten hatten die Hersteller solche LRMs vorgestellt, die bei komplexeren Aufgaben sich mehr Zeit nehmen und alternative Ansätze probieren, um einerseits richtige Aussagen und keine Halluzination auszuspucken, und andererseits Menschen ermöglichen, nachvollziehbar die Herangehensweise des Modells zu verstehen.

Die Apple-Forscher fanden mehr oder weniger drei Aspekte heraus:

1. bei einfachen Aufgaben sind LLMs überraschenderweise besser als LRMs;
2. bei einfach komplexen Aufgaben sind LRMs gut;
3. bei sehr komplexen kollabieren LRMs

Die Schlussfolgerung der Apple-Forscher war, dass weder LLMs noch LRMs „denken“ würden, wie wir es von Menschen erwarten.

Die Reaktion von KI-Kritikern kam rasch. Sofort wiesen sie auf dieses Paper hin mit dem Hinweis „Ich hab’s euch ja gesagt! KI kann nicht denken! Hört auf KI als intelligent oder denkend darzustellen!“ Doch diese Reaktion ist völlig überzogen und falsch, wie ich nach dem nächsten Teil noch zeigen werde.

Zuerst aber eine Antwort auf das Paper, die sich mit dem Versuchsaufbau und den Schlussfolgerungen auseinandersetzt.

Die Antwort

Unter dem Titel „Die Illusion der Illusion des Denkens“ wiesen der Forscher und C. Opus – Anthropics Claude Opus LRM – darauf hin, dass die Apple-Forscher gleich mehrere Fehler begangen hatten.

Beim komplexen Turm von Hanoi-Problem verwechselten die Apple-Forscher Limitationen mit Begründungsfehlern. Die LRM hatten in der Versuchsanordnung eine limitierte Anzahl an verfügbaren Token – also Gedächtnisspeicher – der die Durchführung abbrach. Daraus kann nicht geschlussfolgert werden, dass das LRM nicht begründen kann. Es ist so als ob einem Fahrzeug das Benzin ausgeht, die Schlussfolgerung aber wäre, dass dieses Fahrzeug nicht wirklich fahren kann.

Die Kritik der antwortenden Forscher bezieht sich hier in weiterer Folge auch darauf, dass die Apple-Forscher generell nicht zwischen praktischen Beschränkungen und tatsächlichen Begründungsbeschränkungen unterscheiden würden.

Und zum Schluss werden einige der gestellten Probleme, wie das Flussüberquerungsrätsel, als K.O.-Kriterium für fehlerhafte Begründungen angegeben, obwohl es für diese Problemstellung ab einer Kriterienzahl N≥6 keine Lösung mehr gibt. Im Paper der Apple-Forscher wurden dem LRM aber genau solche Beispiele mit N≥6 zur Aufgabe gestellt.

In der Antwort weisen die Forscher darauf hin, dass 1) Modelle nicht mehr Token verwenden können, als ihr Kontext zulässt, dass 2) die programmatische Auswertung sowohl die Fähigkeiten des Modells als auch die Unmöglichkeiten des Rätsels übersehen kann und dass 3) die Lösungslänge die Schwierigkeit des Problems schlecht vorhersagt.

Mit anderen Worten: All dies sind wertvolle technische Erkenntnisse, aber sie unterstützen nicht die Behauptung, dass das Denken grundsätzlich eingeschränkt ist.

Vögel und Flugzeuge

Diese Diskussion übersieht aber einen wesentlichen Aspekt. KI-Modelle müssen nicht wie Menschen denken und sie denken auch nicht wie Menschen. Zu debattieren, ob KIs nun denken können, ist damit fehlgeleitet.

Nur weil Flugzeuge nicht mit den Flügeln flattern wie Vögel, bedeutet nicht, dass Flugzeuge nicht fliegen können. Nur weil ein Boot sich nicht wie ein Fisch fortbewegt, bedeutet nicht, dass ein Boot nicht schwimmen kann.

Sie wurden für unterschiedliche Zwecke entwickelt und innerhalb ihrer Design Domain sind sie nützlich. Nur weil eine KI anders denkt als ein Mensch, eine andere Intelligenz als der Mensch vorbringt, ist sie nicht unnütz oder dumm, speziell, wenn wir uns all die dummen menschlichen Intelligenzen ansehen, von denen wir umgeben sind.

Und warum LLMs bei einfachen Aufgaben besser sind als LRMs, ist auch leicht mit einem Vergleich erklärt. Um zum Bäcker um die Ecke zu fahren, reicht das Fahrrad. Da muss ich nicht mit einem Düsenflugzeug mein Brot von dort abholen.

Schon in meinem 2020 erschienen KI-Buch Wenn Affen von Affen lernen warne ich davor die Anforderungen an künstliche Intelligenz mit denen an menschlicher Intelligenz gleichzustellen oder zu verwechseln.

Genauso wie uns Kopernikus mit dem Umstieg vom geozentrischen Weltbild, bei dem die Erde als Mittelpunkt der Dinge galt, zum heliozentrischen Weltbild mit der Sonne im Mittelpunkt völlig neue Perspektiven eröffnete, sollten wir uns vom Fokus auf den anthropozentrischen Begriff von Intelligenz lösen und zu einer allgemeinen Form und Definition kommen. Intelligenz ist ein multidimensionales Spektrum, das in unterschiedlichen Ausprägungen für jede Spezies und Maschine angepasst auftreten kann. Eine Spezies oder eine Maschine bewegen sich jeweils nur in einem kleinen Teil des gesamten multidimensionalen Intelligenzraumes.

[..] Unsere Herausforderung ist, dass wir an Maschinen andere Ansprüche zu stellen scheinen als an Tiere. Von unserem Hund erwarten wir nicht, dass er den Müll runterbringt. Unsere Katze werden wir nicht beauftragen, das Paket vom Paketboten entgegenzunehmen und eine Unterschrift zu leisten. Wir verlangen von diesen Tieren lediglich, dass sie Einbrecher oder Mäuse verjagen und für niedliche Hunde- und Katzenvideos posieren. Während Intelligenztests für Menschen auch einiges an abstraktem Denken abfragen, kommt soziale Intelligenz darin fast nicht vor. Dabei wären beispielsweise Schimpansen oder Gorillas uns darin haushoch überlegen.

In diesem multidimensionalen Intelligenzraum wollen wir komplimentäre Intelligenz, also solche die uns erweitert einsetzen, und nicht eine, die uns einfach ersetzt.