Tim Hwang: Was ist Ihre Prognose? Denken Sie, dass die Leute Atlas im großen Maßstab annehmen werden? Wird das ein großer Erfolg für sie?

Martin Keen: Das ist eine gute Frage, denn, ich meine, ich sehe den Vorteil von OpenAI. Welchen Nutzen hat das für uns als Nutzer?

Tim Hwang: All das und mehr über das heutige Mixture of Experts. Ich bin Tim Hwang. Willkommen zu Mixture of Experts. Jede Woche bringt MOE eine Gruppe brillanter, lustiger und nachdenklicher Diskussionsteilnehmer zusammen, um über die neuesten Nachrichten im Bereich der künstlichen Intelligenz zu debattieren, zu diskutieren und nachzudenken. Wir freuen uns sehr, heute drei herausragende Diskussionsteilnehmer begrüßen zu dürfen: ein herzliches Willkommen an Martin Keen, Master Inventor; Aaron Baughman, IBM Fellow und Master Inventor; und Abraham Daniels, Senior Technical Product Manager für Granite.

Heute gibt es viel zu besprechen. Wir werden über ChatGPT Atlas sprechen, Andrej Karpathys Prognosen über die Zukunft von Agenten, einen interessanten Artikel von DeepSeek über DeepSeek-OCR, und schließlich werden wir fragen, ob LLMs „Gehirnfäule“ bekommen können. Aber zuerst kommt Aili mit den Neuigkeiten.

Aili McConnon: Hallo zusammen, ich bin Aili McConnon, Tech News Writer bei IBM Think. Hier sind ein paar KI-Schlagzeilen, die Sie in dieser ereignisreichen Woche vielleicht verpasst haben. Das KI-Wettrennen ist längst im Gange, und jetzt will auch die Wall Street mitmischen. Bankenriese Goldman Sachs hat ein neues Team geschaffen, das sich auf Finanzierungsdeals zum Bau von Rechenzentren und anderen KI-Projekten konzentriert. IBM und Groq haben sich zusammengetan, um Groqs Hochgeschwindigkeits-Inferenztechnologie mit den KI-Agenten-Tools von IBM zu kombinieren, damit Unternehmen KI-Agenten schneller und kostengünstiger bereitstellen können. Es sind nicht mehr nur Firmen, die mit KI experimentieren – jetzt will auch das Militär mitmachen. Selbst Top-Generäle erwarten von intelligenten Chatbots Antworten, während sie üben, schnell Entscheidungen zu treffen – eine kritische Fähigkeit auf dem Schlachtfeld. Uber-Fahrer können jetzt zwischen den Fahrten etwas zusätzliches Geld verdienen, indem sie kleine digitale Aufgaben erledigen, die Ubers KI-Modelle trainieren. Es ist also eine Nebenbeschäftigung innerhalb einer Nebenbeschäftigung. Möchten Sie tiefer in einige dieser Themen eintauchen? Abonnieren Sie den Think-Newsletter, der in den Shownotes verlinkt ist. Und nun zurück zur Folge.

Tim Hwang: Zunächst möchte ich über die große Produktankündigung der Woche sprechen: ChatGPT Atlas. Falls Sie es verpasst haben: OpenAI gibt es jetzt mit einem eigenen Browser. Wir haben das schon einmal besprochen, aber Abraham, kannst du uns vielleicht einen Einblick geben, warum OpenAI überhaupt im Browser-Bereich aktiv ist? Warum machen sie das?

Abraham Daniels: Ein paar Antworten. Ich denke, es gab eine Reihe von Schwierigkeiten – ChatGPT oder OpenAI sind im letzten Jahr mit der Suche in diesen Bereich eingestiegen, wobei die Suchfunktion im letzten Jahr weggegangen ist und sie für viele Nutzer den Einstieg in die Art und Weise, wie sie im Internet navigieren, darstellen. Also, erstens war es ein natürlicher Wendepunkt. Aber zweitens: Angesichts der kartellrechtlichen Bedenken gegenüber Chrome und der Idee, dass Sie Ihren Verlauf als Teil Ihres Interneterlebnisses zwischenspeichern können, um eine bessere Navigation zu erreichen, ist dies durchaus sinnvoll. Die Modellentwicklung ist nicht mehr so gefragt wie früher, daher hat OpenAI sich intensiv darum bemüht, neue Wege zu finden, um von seiner Nutzerbasis – über 350 Millionen Menschen – zu profitieren. Persönlich denke ich, dass es eine kluge Entscheidung ist. Da LLMs für die meisten Menschen bereits einen Einstieg in die Internetnutzung darstellen, ist es sinnvoll, dass das Unternehmen einen Browser entwickelt.

Tim Hwang: Diese Übergänge sind wirklich schwer. Ich erinnere mich, dass sich der Wechsel von Chrome zu Brave wie ein Umzug anfühlte – es dauerte lange, und beides sind Chromium-Browser mit ähnlicher DNA. Der Wechsel von einem Browser zum anderen gestaltet sich sehr umständlich. Martin, was sind Ihre Gedanken zur Umstellung? Wir haben über den Comet-Browser von Perplexity gesprochen – sein Angebot im Weltraum. Wenn ein Unternehmen KI als Suchmaschine verkauft, liegt es angesichts der Geschichte von Google und Chrome nahe, auch einen KI-Browser zu entwickeln. Wie lautet Ihre Prognose? Denken Sie, dass Internetnutzer Atlas im großen Maßstab annehmen werden? Wird das ein großer Erfolg?

Martin Keen: Das ist eine gute Frage, denn ich sehe den Nutzen für OpenAI, aber welchen Nutzen haben wir als Nutzer davon? Kann ich zwei Geschichten darüber erzählen, wie ich Atlas diese Woche benutzt habe? Ich habe es auf meinem Mac installiert. Zuerst habe ich einen wissenschaftlichen Artikel in Atlas geöffnet. Sie können auf der Seite einen Tab aufrufen, der Zugriff auf ChatGPT bietet und Fragen im Kontext der geöffneten Webseite stellt. Ich fragte nach der Methode, dem Zweck und den Ergebnissen des Experiments – alle diese Informationen wurden mir gegeben. Ich hätte das auch in einem normalen ChatGPT-Fenster machen können, indem ich die URL eingefügt hätte, aber dort war es praktischer. Der Artikel hatte Bilder, also fragte ich mich, ob ich danach fragen könnte, ohne zu spezifizieren, welche. In dem Artikel ging es um eine Bierbraumethode. Ich fragte: „Sah eines der beiden stärker oxidiert aus als das andere?“ (Man erkennt es an der dunkleren Farbe.) Es fand das entsprechende Bild, analysierte es und sagte: „Nein, ich kann keinen Unterschied feststellen.“ Es hat funktioniert – ich brauchte keine zwei Fenster geöffnet.

Zweitens verfügt es über einen integrierten Agentenmodus, um den Browser zu steuern, Tabs zu öffnen und Aktionen auszuführen. Ich bin ein Amateur-Buchsammler, mir fehlt ein Buch von Michael Connelly. Ich fragte den Agenten: „Finden Sie Nine Dragons von Michael Connelly, Hardcover, gebrauchtes Exemplar, Zustand sehr gut.“ Er durchsuchte Websites, unterhaltsame Animationen in Atlas, erhielt eine Antwort, öffnete ein Fenster mit der am besten geeigneten Antwort – und fand das richtige Buch. Aber das Titelbild sah komisch aus – nicht wie bei anderen Connelly-Büchern, die ich habe. Ich sagte: „Dieses Cover sieht nicht richtig aus.“ Es suchte in weiteren Fenstern, suchte die ISBN nach, bestätigte, dass es das richtige Bild für diese ISBN war, wies aber darauf hin, dass es die UK-Version und nicht die US-Version war, und gab die andere ISBN an, falls ich das wollte. Ein wirklich gutes Beispiel – der Agent hat die ganze Arbeit gemacht. Ich hätte es in Chrome mit ChatGPT tun können, aber zwischen den Tabs wechseln müssen. Es ist also von Vorteil, alles an einem Ort zu haben.

Tim Hwang: Du bist also pro – du hast das Gefühl, dass du in einem Monat Atlas immer noch benutzen wirst?

Martin Keen: Wir werden sehen. Am ersten Tag mochte ich es.

Tim Hwang: Aaron, ich habe die verrückteste Frage für dich gespeichert. Mich interessiert, ob es in fünf bis zehn Jahren überhaupt noch Browser geben wird. Eine Möglichkeit, den Aufstieg von Chatbots zu interpretieren: Wenn sie gut genug werden, wird man nie wieder direkt auf eine Website gehen müssen. Alle Informationen kuratiert, zusammengestellt, vielleicht alles auf MCP – einem Internet für Agenten, von Agenten. Das Surfen im Internet könnte ein Artefakt sein. Sind Browser langfristig überhaupt als Produktkategorie sinnvoll?

Aaron Baughman: Ein Blick in die Kristallkugel, über Tech-Projektion nachdenken – es ist faszinierend, weil sich das Paradigma verändert. OpenAI versucht, Computergeräte in eine Spielwiese zu verwandeln, hat aber noch keine Kontrolle über deren Struktur und Funktion. Wir versuchen, die Privatsphäre zu wahren. ChatGPT versucht, sich mehr zu einem Betriebssystem für KI-Anwendungen zu entwickeln – durch die Orchestrierung von KI-Tools, Workflows und Plugins. Es wird weder macOS, Windows noch Linux ersetzen – es will kein Low-Level-Betriebssystem sein, das die Hardware steuert, sondern eine Abstraktionsebene bieten, die Apps, SDKs, Drittanbieter-Apps und Agenten verwaltet. Die Grenze zwischen Apps und Plattformen verschwimmt.

Unsere Computer sind nicht speziell für KI ausgelegt – wir lagern große Modelle und Agenten-Wrapper an die Cloud oder Rechencluster aus. Wir brauchen etwas Neues. Die Kombination von generativer KI und generativem Computing wird dazu beitragen, die Zukunft zu gestalten. Risiken: Daten und Datenschutz – sicherstellen, dass wir die Kontrolle darüber behalten, was dieses neue Betriebssystem tut. Versteckte Eingabeaufforderungen oder „Comet Jacking“ – der Agent riskiert, Atlas zu kapern. Weniger Transparenz und Kontrolle, je weiter wir gehen. KI kann Fehler machen, wie Martins Beispiel zeigt – ein kognitiver Fehler? Ging ins Vereinigte Königreich, fand ein Buch, das nicht dem Standort des Benutzers zugeordnet wurde. Diese Informationsgrafik wurde nicht richtig zugeordnet.

Es wird faszinierend sein zu beobachten, wie sich das Feld schnell verändert.

Tim Hwang: Abraham, was denkst du, wohin sich OpenAI entwickeln wird? Aaron erwähnte die Weltherrschaft – nicht nur einen Browser, sondern etwas, das jede beliebige App auf Ihrem Computer nutzt und eher wie ein Betriebssystem auf niedrigerer Ebene aussieht. Ist das die Richtung, in die sich das Unternehmen bewegt?

Abraham Daniels: Es hat bereits Funktionen hinzugefügt, die sich in Desktop-/Laptop-Apps als Teil von ChatGPT integrieren lassen. Für den alltäglichen Benutzer ist es ein Allheilmittel ohne jegliche Sicherheitsvorkehrungen – so wie meine Generation Google als Suchmaschine für alle Informationen betrachtete. Für durchschnittliche Nutzer vereinfacht Atlas die Internet-Erfahrung – sie würden es gerne nutzen. Aus Sicht von OpenAI ist Monetarisierung groß – sie öffnet eine riesige Welt durch Werbung oder auf andere Weise. Ich persönlich denke, das war ein sehr kluger Schachzug. Alles, was im Suchbereich geschieht, wird dem Unternehmen zugutekommen. Es hat großartige Arbeit geleistet, um sich einen Namen zu machen und Marktanteile zu gewinnen, bevor es das hier über Bord geworfen hat – ein einfacher Wechsel. Martins Geschichte: Hätte man in GPT machen können, aber warum nicht im Browser mit dem ganzen Kontext direkt vor Ort, Fragen stellen, Speichercache? Macht absolut Sinn.

Tim Hwang: Martin, es sieht so aus, als wollten Sie etwas sagen.

Martin Keen: Ja, eine Sache: Sobald man den Browser startet, fragt er innerhalb von zwei Minuten, ob er als Standardbrowser festgelegt werden möchte – und das, obwohl man noch nicht einmal zwei Suchanfragen eingegeben hat. Ich habe auch nach Bluetooth gefragt – ich fragte mich, warum? „Aus Gründen.“

Tim Hwang: Guter Übergang zum nächsten Thema. Andrej Karpathy (Mitbegründer von OpenAI, Influencer) äußerte sich kürzlich im Dwarkesh-Podcast zu Agenten: „Sie funktionieren einfach nicht, sie sind nicht intelligent genug, sie sind nicht multimodal genug, [ein] Jahrzehnt, um all diese Probleme zu lösen.“ Aufbauend auf Abrahams Punkt: Wird das ein Hindernis für die Annahme von Agenten sein? Karpathy betrachtet die Situation aus der Perspektive eines Forschers, der sich der technologischen Grenzen bewusst ist, aber die Internetnutzer scheinen trotz der Probleme zuversichtlich zu sein, dass Agenten angenommen werden. Martin, wie wichtig sind die Probleme, auf die Karpathy hinweist? Sollte man befürchten, dass die Entwicklung nicht so schnell voranschreitet wie erwartet?

Martin Keen: Wenn jemand, der bei Tesla und OpenAI gearbeitet hat, sagt, dass Agenten schrecklich, überbewertet und noch 10 Jahre von ihrer Nützlichkeit entfernt sind, dann wird man hellhörig. Er gab Gründe an. In meinem Beispiel mit dem Bucheinkaufsagenten ist dem Agenten bereits ein Fehler unterlaufen, den ein Mensch nicht machen würde – er antwortete mit einer Ausgabe aus dem Vereinigten Königreich. Er erwähnte Trainingsdaten: Wenn man ein zufälliges Dokument aus den Trainingsdaten eines LLM auswählt, ist es höchstwahrscheinlich irrelevant (z. B. eine Börsenticker-Zahl) oder voller Fehler. Mit genug, sehen Sie Signal durch Rauschen. Trainingsdaten könnten eine große Rolle spielen.

Zweiter umstrittener Grund: Meinungen zu Reinforcement Learning, die es für „ziemlich schlecht“ erklären. Beispiel: Mathematikaufgabe – RL belohnt richtige Antworten, bestraft falsche, ohne darauf zu achten, wie sie zustande gekommen sind. Haben die Berechnungen gestimmt, wurden zufällig richtige Ergebnisse gefunden, wurden zusätzliche Schritte hinzugefügt? RL-Einschränkungen treten in der Gedankenkette der Agenten auf – Agenten stecken in Schleifen fest und finden keine optimalen Wege. Wenn so jemand sagt, dass Agenten überverkauft sind, hat das Auswirkungen auf die Branche – man wird genauer zuhören.

Tim Hwang:  Der Downstream-Effekt ist groß – so viel Begeisterung über das Versprechen der Agenten. Unmut aus der Wirtschaft – Banken berichten von gescheiterten Pilotprojekten. Die erste einflussreiche Stimme aus technischer Sicht, die sagt, dass dieser Forschungsplan nicht funktionieren wird. Aaron, wie sehen Sie dies? Sollten wir den Optimismus bremsen?

Aaron Baughman: Die Geschichte wiederholt sich – wir müssen daraus lernen, damit sich die schlechten Seiten nicht wiederholen. In den 90er und 80er Jahren – wissensbasierte Systeme, Versprechen, dann der KI-Winter, angeheizt durch frühe neuronale Netze, die das XOR-Problem nicht lösen konnten, benötigten mehrschichtige Perzeptrone, aber keine Rechenleistung. Stolpersteine werden immer wieder durch Wissenschaft und Technik gelöst. Nicht anders. Karpathy ist klug und lässt sich auf den Hype ein. Viele wissen nicht einmal, wie man KI buchstabiert. Man muss vorsichtig sein. Er hat eine differenzierte Sichtweise – um den übertriebenen Hype abzuschwächen. Riskant – ich habe Systeme erlebt, die die Erwartungen nicht erfüllten, aber das taten, wofür sie gebaut wurden. Eindämmen, Benchmarks und Wegweiser erstellen hilft.

KI-Agenten – noch in der frühen Entwicklungsphase, spannend und unterhaltsam. Aber beim Bau von Produktionssystemen für Sport oder Unterhaltung habe ich immer einen Menschen dabei, der für die Verbraucher und Skalierung sorgt. Eine Fehlerquote von 1 bis 2 % ist enorm – 1 von 100 Anfragen, Milliarden von Anfragen, viele sehen falsche Probleme. Diese Systeme, die externe Tools über MCP nutzen, um externe Ökosysteme zu aktivieren – müssen vorsichtig sein. Viel Nichtdeterminismus. Die Frage, wann maschinelles Lernen und wann generative KI eingesetzt werden sollten – wo beide ihren Platz haben und wie man das Beste aus beiden Welten kombiniert. Er hat eine langfristige Strategie verfolgt – eine kluge Entscheidung.

Tim Hwang: Abraham, Sie haben das letzte Wort. Mein Lieblingsbild aus dem KI-Moment: Diagramm der Geldflüsse im KI-Bereich – Nvidia gibt an OpenAI, OpenAI gibt an Nvidia – Kreis. Werden Karpathys Kommentare die Seifenblase platzen lassen? Gibt es eine Blase?

Abraham Daniels: Ich weiß nicht, ob das die Seifenblase platzen lässt. Ob Blase oder nicht, ich lasse jeden entscheiden. Definitiv übertrieben – aus finanziellen Gründen. Aaron sagte, dass Muster für Agenten nicht deterministisch seien – der Planer nimmt Modelle viele Male für die Skalierung der Inferenz – und bieten keine Leitplanken für die Ausgabe: Es werden jedes Mal bestimmte Ausgaben benötigt, wenn sie nicht im Rahmen des Umfangs liegen, gehen sie zurück. Für Agenten gut genug für eine Suche mit geringen Einsätzen – kann wiederholt werden. Agenten in Produktionsqualität – hohe Anforderungen – mehr als 99 % erforderlich, kein Wechsel in die Produktion möglich. Unterschiedliche Welten – ob die Agenten es schaffen.

Persönlich wünsche ich mir ein deterministischeres Ergebnis für die Akteure. Software, generatives Rechnen ist der Schlüssel zur Entwicklung produktionsreifer Agenten – durch Richtlinienmanagement, Anforderungen und IVR-Muster. Ich weiß nicht, ob es 10 Jahre sind. Ich stimme dem übertriebenen Hype um Agenten zu, aber es gibt auch heute noch einen Ort – definieren Sie, wo.

Tim Hwang: Ja, der Anwendungsfall ist wichtig. Kommen wir zum nächsten Thema – interessante Artikel. Martin, vor ein paar Wochen habe ich Chris Hay gebeten, Mannigfaltigkeiten zu erklären. So gemein bin ich heute nicht. Super interessanter Artikel von DeepSeek: DeepSeek-OCR: Context Optical Compression. Da geht es um Modelle, die Probleme mit langen Kontexten haben. Können Sie uns mehr über dieses Problem erzählen? Warum passiert das? Was sind die praktischen Auswirkungen?

Martin Keen: Trend: Größere Kontextfenster, um mehr Inhalte unterzubringen, die in den Antworten priorisiert werden. Wie kann man in einem Kontextfenster möglichst viele Informationen erhalten, wenn der Rechenaufwand für dessen Erweiterung zu hoch ist? Interessante Idee: Token in visuelle Token umwandeln, um mehr Informationen unterzubringen. Je nach Algorithmus kann es beim Zurückwandeln in Text zu Verlusten kommen, bei manchen ist der Verlust jedoch gering. Bestes Modell: 97 % Rate – Textkonvertierung, Kodierungs-/Dekodierungszyklus, 97 % Text korrekt. Nicht schlecht. Wenn ein Bild mit weniger Informationen die Encoder-/Decoderschleife durchläuft, verliert der Text mehr Informationen.

Interessant: um einen Vergessensmechanismus gewickelt, der menschliches Gedächtnis nachahmt. Das beste Modell erinnert sich an fast alles – so kann ich mich zum Beispiel jetzt an diese Podcast-Frage erinnern, aber vor einem Monat erinnere ich mich eher an die Gäste und Themen, nicht an die konkreten Fragen oder Gesprächspunkte – da ist alles etwas verschwommen. Sie modellieren, dass ein kleines Modell ein verschwommenes Bild darstellt, das dem menschlichen Gedächtnis eines Monats entspricht. Vor einem Monat ist etwas passiert, das Modell ist unscharf und erzeugt ein Bild mit der gleichen Menge an vergessenem Inhalt. Interessanter Aspekt: Sind die Fenster im LLM-Kontext nützlich, weil sie das menschliche Gedächtnis nachahmen? Wir haben uns so entwickelt, dass wir uns die Gegenwart gut merken können, im Laufe der Zeit aber immer abstrakter werden. Das könnte ein Modell dafür sein.

Tim Hwang: Biologie: rechenintensiv, sodass wir auch große Kontextfenster haben. Praktische Bedeutung: Sprach-Tokens oder Bild-Tokens – vereinfachte Unterscheidung – Ergebnis: stärkere Komprimierung, längere Kontexte. Ist das die Richtung, in die es geht? Kann noch mehr ins Fenster packen, wenn die Produktion bereit ist.

Aaron Baughman: Stellen Sie sich das als eine Art „Dokumentendestillation“ vor, ähnlich wie bei der Modelldestillation – aus einem großen Modell entsteht ein kleineres Modell. Hier wird das Dokument in Hauptkomponenten destilliert – eine mathematische Methode ähnlich der Hauptkomponentenanalyse: Dabei werden die größten Eigenvektoren beibehalten, die den größten Teil der Varianz erklären. Hierbei werden Bildcodierer verwendet. Zweistufiges System: Vision-Encoder namens DeepEncoder. Genial: Nimmt PDF-Dateien und Scans – es wird nicht nur Text per OCR extrahiert, sondern der Text wird aus der unübersichtlichen, von Menschen geschriebenen Welt in ein für KI verständliches Format befreit. Erzeugt kleinere Token, eine neue Art des Dokumentenverständnisses. Hilft bei der Lösung des Kernproblems: LLMs haben aufgrund der quadratischen Skalierung Schwierigkeiten mit langen Kontexten – je länger der Kontext, desto schwieriger ist die Verarbeitung. Nutzt effiziente Komprimierungstechniken, um Informationen in eine Textdarstellung umzuwandeln.

Ordentlich: zweistufiges System, Decoder – Nehmen Sie einen Vision-Encoder, setzen Sie ihn in eine neue Sprache, trainieren Sie einen neuen Decoder, der in eine andere Sprache übersetzt, um es von jedem multimodalen Modell zu verwenden. Produziert etwas ganz anderes. Könnte zu einer Kunstform werden – Schichten von Encodern/Decodern anbringen und die besten Werke finden. Wie bei einem Suchproblem – finden Sie die besten Modelle von Decodern/Encodern, um Probleme effizient zu lösen. Begeistert, uns gefiel, was sie zeigten. Ich freue mich auf die nächste Veröffentlichung mit erweiterten Experimenten zur multimodalen, textfusionierten Datenverarbeitung.

Tim Hwang: Abraham, zoomen Sie raus: DeepSeek ist über Open Source auf die Landkarte gekommen, hat Forschung betrieben, Artikel veröffentlicht. Gibt es Spekulationen, warum DeepSeek sich für diese Forschungsfragen interessiert?

Abraham Daniels: OCR ist ein altes Problem – eine gute Frage. Persönlich könnte es eine Innovation sein, die im Labor gefunden wurde und einen Fortschritt demonstriert, der es wert ist, veröffentlicht zu werden. Auch die Notwendigkeit eines unendlichen/längeren Kontextfensters für bestimmte Anwendungsfälle ist wichtig, aber noch nicht allgemeingültig gelöst. Beide Antworten sind hilfreich: den Namen in den Nachrichten halten, zeigen, dass das Forschungslabor spannende Dinge leistet.

Dieser Artikel: Ein eleganter Ansatz zur Kodierung/Einbettung von Dokumenten mittels Verschiebung. Ich würde es begrüßen, wenn die semantische Repräsentation auch beim Übergang von Bildern zu Texten – also Mitteln für nachgelagerte Anwendungen – weiterentwickelt würde, sofern eine entsprechende Implementierung vorliegt. Oder nur OCR-Textextraktion? Kurzer Hinweis: IBM Docling erledigt das hervorragend, effizient – ein LLM ist überflüssig. Ich bin gespannt auf die nächste Version des Papers, eine großartige Leistung von DeepSeek.

Tim Hwang: Kein spektakulärer Meilenstein, aber ein entscheidender Baustein des KI-Stacks – der OCR-Teil ist fertig, und die Komprimierungsbrücke hilft anderen Modellen dabei, groß angelegte Probleme mit wenigen Tokens zu bewältigen. Ordentlich. Ausgabe: Die meisten Modelle sind text-tokenorientiert. Es wäre toll, wenn man ein Plugin veröffentlichen würde, mit dem man verschiedene Decodermodelle anstelle des unternehmenseigenen verwenden kann – aus Sicht der Akzeptanz sollte man das Modell verwenden, das für die jeweilige Umgebung am sinnvollsten ist.

Nächste Phase: KI-Kunst der Kontextfenster? Aaron, das Bild hinter dir zeigt die Visualisierung des Kontextfensters, das wir alle wahrnehmen?

Aaron Baughman: Beängstigende Vorstellung – ich möchte mein Kontextfenster nicht sehen. Der Begriff des effektiven Computing – Systemverständnis, Gefühle, Denken – könnte dabei eine Rolle spielen. Eine Brücke zwischen Modalitäten oder Menschen und Modellen, die eine Sprache für andere Interpretationen schafft, während Agenten agieren und das Bild hinter mir sich verändert.

Tim Hwang: Kommen wir zum letzten Thema: Ein unterhaltsamer Artikel, über den online diskutiert wurde – „LLMs können zu Hirnfäule führen!“ Intuition: Die Befürchtung, dass der Konsum von Trivialmedien in sozialen Medien bei Menschen zu Hirnfäule führt – mangelhafte Argumentation, kognitive Defizite. Forscher fragen sich: Können auch LLMs an Hirnfäule erkranken? Kuratierte Datensätze mit kurzen/beliebten oder sensationellen Inhalten aus sozialen Medien. Mischung nach dem Training: Erhöhen Sie langsam den Junk-Webtext zum Modellieren, sehen Sie sich die Leistung bei Benchmarks an. Behauptung: Modelle erleben einen kognitiven Abbau – Rückgang des Denkvermögens, des Verständnisses langfristiger Zusammenhänge, des Sicherheitsgefühls, Auftreten dunkler Charaktereigenschaften – Modelle werden durch den Inhalt narzisstischer.

Aaron, was zeigt der Artikel? Wenn wir schlechtes Material online konsumieren, verfaulen unsere Gehirne buchstäblich? Was nehmen wir mit?

Aaron Baughman: Schlagzeile: Müll rein, Müll raus. Großer blinkender Stern: Rückgang, anhaltend, systematisch – nicht schnell behoben. Risiko: Da Systeme im freien Einsatz sind, sind die Trainingsdaten oberflächlicher und erfordern eine kontinuierliche Evaluierung – es kann zu kognitiver Beeinträchtigung kommen.

Warum passiert das? Über Impuls und Trägheit: Während des Backpropagation-Trainings verlieren zusätzliche Impulse und Gradienten im Laufe der Zeit an Bedeutung, da das System lernt. Wenn man einmal mit dem Training aufhört, setzt die Trägheit ein – man kann nicht schnell genug umlernen. Wie beim Menschen: Das Gehirn von Kindern ist formbar, sie lernen schnell und verändern sich rasch. Erwachsene sind älter, verfügen über umfangreiches Wissen, sind fantastisch, aber ihr Gehirn ist im Vergleich zu Kindern dichter vernetzt. LLMs vernetzen sich schnell und dicht – je weiter man die Kindheit hinter sich lässt, desto schwieriger wird es, die systematische Perspektive zu ändern. Weitere Techniken erforderlich: virtuelle Läsionierung, neuronale Schädigung, Auffinden von Supergewichten innerhalb des Modells, Entfernen, Training zum Entfernen von Fäule. Das eigentliche Problem ähnelt der menschlichen Kognition – Menschen müssen in der freien Natur genau darauf achten, was sie lernen und worauf sie ihre Aufmerksamkeit richten.

Tim Hwang: Martin, Sie sind nicht überrascht? Aarons Interpretation: Schlechte Inhalte füttern, Modelverhalten, das spiegelt das schlechter wider. Wie schockiert sollten wir sein? Gibt es etwas Überraschendes?

Martin Keen: Ein Leckerbissen für alle Eltern von Teenagern: „Schaut mal, was mit dem Chat-Model mit Müll passiert ist.“ Am überraschendsten: Die Einteilung der Hirnfäule-Inhalte in zwei Kategorien – Engagement und semantische Qualität. Interaktion: kurze Beiträge wie Tweets – ein oder zwei Sätze, sachlich, ohne Nuancen. Semantische Qualität: Sensationsmaterial – „Wow, seht euch das an!“ Deutlicher Unterschied, wenn das Modell mit M1-(Engagement-)Daten im Vergleich zu (semantischen) M2-Daten gefüttert wird. M1-Engagement-Dinge beeinflussten die Persönlichkeit mehr als die Sensation. M1 bei 100 % – alle Modelle erhielten Tweets – gesteigerter Narzissmus, weniger Verträglichkeit, mehr Extrovertiertheit. Klingt nach einem unverblümten Fernsehkommentator, einem Schock-Jockey. Ausbildung zum Talking Head – schauen Sie sich Kurzform-Kram an, verstehen Sie diese Eigenschaften.

Tim Hwang: Ich verstehe.

Abraham Daniels: Ergänzung: Bei M1, das mit M1-Daten trainiert wurde, kam es zu einem starken Anstieg abrupter Denkabbrüche – der Denkprozess wurde nicht vollständig durchlaufen, sondern abgebrochen oder gar nicht erst begonnen. Seltsam – die Persönlichkeit eines Individuums, das schockieren will, im Gegensatz zu Selbstvertrauen.

Tim Hwang: Interessante Störvariablen. Möglicherweise keine kurzen Inhalte, aber kurze Inhalte von Twitter/X. Das Vorhandensein narzisstischer, antagonistischer Züge hängt weniger von der Kurzform ab, sondern vielmehr von der Kultur der Datenquelle. Für das Reasoning, Short Limits Reasoning. Einige Effekte hängen mit dem Kurzfilm zusammen, andere mit der Quelle. Mein Eindruck von X: eine Plattform mit aggressivem, antisozialem Verhalten.

Abraham Daniels: Fair – nur 156 von 256 Zeichen, da bleibt nicht viel Raum zum Nachdenken. Der Artikel zeigt „Müll rein, Müll raus“, aber Qualität ist wichtiger als Quantität für die Leistung eines Modells. Interessant: Überblick – die Datenqualität verschlechtert sich mit zunehmendem Alter. Im Trainingsdatenkorpus gilt: Je aktueller die Daten, desto geringer die Qualität. Bedeutet das, dass die Qualität der Inhalte allmählich zum kleinsten gemeinsamen Nenner wird, ein Produkt fauler Literatur? Interessanter Aufsatz, viele Parallelen, philosophische Fragen – überlassen wir das anderen.

Aaron Baughman: Ich hielt es immer für am besten, große Modelle auf faktisch korrekten, dichten, tiefen Datenmodellen zu trainieren – ein Foundation Model. Verändern Sie Persönlichkeit, Tonfall, Tonhöhe und Sprachmelodie durch Kontextgestaltung und fügen Sie gewünschte Verhaltensmerkmale hinzu. Es ist nicht am besten, Eigenschaften in Wissensstrukturen einzubauen – Verwässerung, Gehirnverlust, Amnesie. Die Modelle vergessen, was sie wissen, und konzentrieren sich mehr darauf, wie man sich verhält – verwässert. Der Rückgang im Verhalten und im Denkvermögen ließ sich durch spätere Anpassungen der Anweisungen und Bereinigungen der Daten nicht ohne Weiteres beheben – die ursprünglichen Funktionen konnten nicht wiederhergestellt werden. Lektion: Beim Training und der Feinabstimmung ist Vorsicht mit den Daten geboten, um sicherzustellen, dass das Modell die gesteckten Ziele erreicht.

Tim Hwang: Übertragen auf den Menschen: Wenn das so ist, sollte man vielleicht weniger Zeit auf Twitter verbringen und mehr Zeit mit hochwertigen, ausführlichen Inhalten wie dem Podcast „Mixture of Experts“ widmen.

Aaron Baughman: Ja, genau. Wir können dies wärmstens empfehlen.

Tim Hwang: Eine tolle Anmerkung zum Abschluss. Martin, Aaron, Abraham – immer großartig, euch in der Show dabei zu haben, hoffentlich sehen wir uns bald wieder. Das war unsere Zeit für heute. Vielen Dank an die Zuhörer. Wenn es Ihnen gefallen hat, abonnieren Sie uns auf Apple Podcasts, Spotify und allen anderen Podcast-Plattformen. Bis nächste Woche bei Mixture of Experts.