Die mathematische Fata Morgana der KI: Apple-Studie stellt Vorstellung von KI-Reasoning in Frage

In einer Studie, die in der Tech-Welt für Aufsehen sorgt, haben Apple-Forscher Zweifel an der Annahme geäußert, dass Large Language Models (LLMs) zu echtem Denken fähig sind.

Die Autoren des Artikels wollten die mathematischen Denkfähigkeiten aktueller KI-Modelle, einschließlich des Branchenführers GPT-4 von OpenAI, untersuchen, indem sie einen neuen symbolischen Datensatz einführten. Indem sie vertraute mathematische Konzepte auf ungewohnte Weise darstellten, versuchten die Forscher, das Verständnis der Modelle über die bloße Mustererkennung hinaus herauszufordern.

Die Ergebnisse waren verblüffend: Die meisten der getesteten LLMs schnitten deutlich schlechter ab, wenn sie mit diesen neuartigen Darstellungen von Mathematikproblemen konfrontiert wurden, was darauf hindeutet, dass sich diese Systeme möglicherweise mehr auf den Musterabgleich als auf tatsächliche Problemlösungsfähigkeiten verlassen.

„Dieses Papier hat grundlegend bewiesen, dass LLMs nicht logisch denken können“, sagt Ash Minhas, IBM Technical Content Manager. „Sie suchen lediglich nach Mustern.“

Diese Enthüllung veranlasst Experten, die Tiefe der aktuellen Fähigkeiten der KI und den weiteren Weg in diesem Bereich in Frage zu stellen. Die Ergebnisse der Studie unterstreichen die Unterscheidung zwischen Artificial Narrow Intelligence (ANI), also schwacher künstlicher Intelligenz und künstlicher allgemeiner Intelligenz (AGI), indem sie darauf hinweisen, dass aktuelle LLMs fest in die erstere Kategorie fallen, sagte Minhas.

Die KI-Branche befasst sich zunehmend mit der Möglichkeit, AGI zu erreichen, d. h. mit KI-Systemen, die in der Lage sind, wie Menschen zu lernen und zu verstehen, Wissen in verschiedenen Bereichen anzuwenden, unterschiedliche Aufgaben auszuführen und möglicherweise die menschlichen Fähigkeiten zu übertreffen – vom logischen Denken bis hin zu kreativen Tätigkeiten.

Helen Toner, ehemaliges Vorstandsmitglied von OpenAI und Strategiedirektorin am Zentrum für Sicherheit und Zukunftstechnologien der Georgetown University, sagte kürzlich vor einem Unterausschuss des Justizausschusses des US-Senats aus, dass „die größte Diskrepanz, die [sie sehe], im Unterschied zwischen der öffentlichen Wahrnehmung und den Insiderperspektiven im Bereich KI besteht, der von den wenigen Unternehmen herrührt, die an der Entwicklung der „künstlichen allgemeinen Intelligenz“ (AGI) arbeiten – künstlicher Intelligenz, die ungefähr so intelligent ist wie ein Mensch.“ Sie sagte, dass führende KI-Unternehmen wie OpenAI, Google und Anthropic den Aufbau einer AGI als „ein absolut ernstzunehmendes Ziel“ betrachten.

Einige Experten sagen jedoch, dass der AGI noch weit von der Realität entfernt ist. „Diese Studie unterstreicht, dass wir uns immer noch in der Welt der ANI befinden“, sagt Minhas. „Wir haben AGI nicht erreicht.“

Das Paper hebt außerdem die Notwendigkeit besserer Benchmarks in der KI-Branche hervor. Laut Minhas sind die aktuellen Benchmark-Probleme fehlerhaft, weil die Modelle sie durch Mustererkennung anstatt durch tatsächliches logisches Denken lösen können. „Wenn die Benchmarks auf tatsächlichem Denken basieren würden oder wenn die Denkprobleme komplexer wären, dann würden alle Modelle miserabel abschneiden“, sagt er.

Minhas erklärt, dass die Apple-Forscher diesen synthetischen Datensatz – eine Sammlung von Daten, die zum Trainieren und Testen von KI-Modellen und -Algorithmen verwendet werden – durch das Mischen der Symbole erstellt haben.

„Sie haben bewiesen, dass die Leistung dieser Modelle nachlässt, wenn man anfängt, Dinge in der Eingabesequenz zu verändern, sei es durch die Symbole selbst oder durch zusätzlichen Kontext wie überflüssige Token“, sagt er.

Die Methode der Apple-Studie beinhaltete die Einführung verschiedener „Füllwörter“ und Klauseln in das Trainingsset, um zu beobachten, wie sich die Modellleistung verändert hat. Jess Bozorg, Data Scientist IBM , weist jedoch auf eine mögliche Einschränkung hin: „Sie haben nicht angegeben, wie viele Kategorien von Füllwörtern sie bei ihren Ergänzungen berücksichtigt haben oder welche Arten von Füllwörtern sie aus welcher Kategorie verwendet haben“, sagt sie.

Einer der Kritikpunkte des Papiers an den aktuellen LLM-Benchmarks ist das Problem der Datenverunreinigung. Bozorg erklärt, dass die Apple-Studie den GSM-8K-Datensatz verwendet hat. Set, das von Menschen erstellte mathematische Wortaufgaben für die Grundschule enthält. „Es gibt Datenlecks“, sagt sie. „Das bedeutet, dass das Modell einige dieser Daten bereits während der Testphase im Rahmen seines Trainings gesehen hat.“

Kontamination ist ein weit verbreitetes Problem in der Branche. Minhas sagt, dass der GSM-8K-Datensatz „ein solcher Branchenmaßstab ist, dass sich Bruchstücke davon überall in den Trainingsdaten finden, die allen Modellen bekannt sind. Das ist ein grundlegendes Problem bei all diesen erstellten Benchmarks.“

Interessanterweise zeigte die Studie, dass GPT-4 bei Tests auf dem neuen symbolischen Datensatz deutlich besser abschnitt als andere Modelle. Minhas spekuliert über den Grund: „Ist es möglich, dass sie beim Training von GPT-4 über symbolische Darstellungen nachgedacht und solche Testdaten generiert haben? Vielleicht führt es immer noch nur Mustererkennung durch, aber es enthielt diesen Datentyp in seinem Trainingsdatensatz.“

Minhas weist darauf hin, dass Forscher versuchen, über den Musterabgleich hinauszugehen, indem sie Speicher in KI-Systeme verschieben. „Auf diese Weise versuchen wir, sie allgemeiner zu gestalten, aber es handelt sich immer noch nur um einen Musterabgleich auf der Grundlage Ihrer Angaben“, sagt er.

Die Apple-Studie hat erhebliche Einschränkungen in aktuellen KI-Systemen aufgedeckt und gezeigt, dass der Weg zu wirklich intelligenten Maschinen noch lange nicht abgeschlossen ist. Experten zufolge steht die KI-Community nun vor der Herausforderung, die Kluft zwischen Mustererkennung und echtem Denken zu überbrücken.

„Die Transformer-Architektur allein reicht für eine Begründung nicht aus“, sagt Minhas. „Für die Entwicklung von Funktionen sind Fortschritte in der Modellarchitektur erforderlich.“