Die wichtigsten KI-Trends im Jahr 2024

Davon abgesehen wächst der Anspruch an eine hochmoderne generative KI. Der nächste Entwicklungsschritt wird sich nicht nur auf die Leistungssteigerung in einem bestimmten Bereich konzentrieren, sondern auf multimodale Modelle, die mehrere Arten von Daten als Input verarbeiten können. Modelle, die mit verschiedenen Datenmodalitäten arbeiten, sind zwar kein völlig neues Phänomen – Text-zu-Bild-Modelle wie CLIP und Speech-to-Text-Modelle wie Wave2Vec gibt es schon seit Jahren – aber sie haben in der Regel nur in eine Richtung funktioniert und wurden für eine bestimmte Aufgabe trainiert.

Die kommende Generation interdisziplinärer Modelle, die proprietäre Modelle wie GPT-4V von OpenAI oder Gemini von Google sowie Open-Source-Modelle wie LLaVa, Adept oder Qwen-VL umfasst, kann sich frei zwischen Aufgaben der Verarbeitung natürlicher Sprache (NLP) und der Computer Vision bewegen. Neue Modelle integrieren auch Videos: Ende Januar kündigte Google Lumiere an, ein Text-zu-Video-Diffusionsmodell, das auch Bild-zu-Video-Aufgaben ausführen oder Bilder als Stilreferenz verwenden kann.

Der unmittelbarste Vorteil der multimodalen KI sind intuitivere, vielseitigere KI-Anwendungen und virtuelle Assistenten. Benutzer können beispielsweise nach einem Bild fragen und eine Antwort in natürlicher Sprache erhalten oder laut nach Anweisungen zur Reparatur von etwas fragen und neben schrittweisen Textanweisungen auch visuelle Hilfen erhalten.

Auf einer höheren Ebene ermöglicht die multimodale KI einem Modell die Verarbeitung vielfältigerer Dateneingaben, wodurch die für Training und Inferenz verfügbaren Informationen angereichert und erweitert werden. Insbesondere Videos bieten ein großes Potenzial für ganzheitliches Lernen. „Es gibt Kameras, die rund um die Uhr laufen und alles, was passiert, ohne Filter und ohne jegliche Absicht aufzeichnen“, sagt Peter Norvig, Distinguished Education Fellow am Stanford Institute for Human-Centered Artificial Intelligence (HAI).[3] „KI-Modelle haben bisher nicht über diese Art von Daten verfügt. Diese Modelle werden einfach alles besser verstehen.“

Bei domainspezifischen Modellen – insbesondere LLMs – haben wir wahrscheinlich den Punkt erreicht, an dem die Rendite durch größere Parameterzahlen sinkt. Sam Altman, CEO von OpenAI (dessen GPT-4-Modell Gerüchten zufolge etwa 1,76 Billionen Parameter hat), deutete dies bereits im vergangenen April auf der MIT-Veranstaltung „Imagination in Action“ an: „Ich denke, wir stehen am Ende der Ära, in der es diese riesigen Modelle geben wird, und wir werden sie auf andere Weise verbessern“, sagte er voraus. „Ich denke, es wurde viel zu viel Wert auf die Anzahl der Parameter gelegt.“

Große Modelle haben dieses anhaltende Goldene KI-Zeitalter eingeleitet, aber sie sind nicht ohne Nachteile. Nur die größten Unternehmen verfügen über die finanziellen Mittel und den Serverplatz, um energieintensive Modelle mit Hunderten von Milliarden Parametern zu trainieren und zu warten. Einer Schätzung der University of Washington zufolge benötigt die Schulung eines einzigen Modells in der Größe von GPT-3 den jährlichen Stromverbrauch von über 1.000 Haushalten. Ein normaler Tag mit ChatGPT-Anfragen entspricht dem täglichen Energieverbrauch von 33.000 US-Haushalten.[4]

Kleinere Modelle sind dagegen weitaus weniger ressourcenintensiv. Ein einflussreiches Paper von Deepmind vom März 2022 zeigte, dass das Trainieren kleinerer Modelle mit mehr Daten zu einer besseren Leistung führt, als das Trainieren größerer Modelle mit weniger Daten. Ein Großteil der laufenden Innovationen bei LLMs konzentrierte sich daher darauf, mit weniger Parametern einen höheren Output zu erzielen. Wie die jüngsten Fortschritte bei Modellen im Parameterbereich von 3 bis 70 Milliarden gezeigt haben, insbesondere bei denen, die auf den Foundation Models LLaMa, Llama 2 und Mistral im Jahr 2023 basieren, können Modelle ohne große Leistungseinbußen verkleinert werden.

Die Leistungsfähigkeit offener Modelle wird immer weiter wachsen. Im Dezember 2023 veröffentlichte Mistral „Mixtral“, ein Mixture-of-Experts-Modell (MoE), das acht Neural Networks mit jeweils 7 Milliarden Parametern integriert. Mistral behauptet, dass Mixtral nicht nur die 70B-Parametervariante von Llama 2 in den meisten Benchmarks bei sechsmal schnelleren Inferenzgeschwindigkeiten übertrifft, sondern dass es sogar mit OpenAIs weitaus größerem GPT-3.5 in den meisten Standard-Benchmarks übereinstimmt oder diese übertrifft. Kurz darauf gab Meta im Januar bekannt, dass es bereits mit dem Training von Llama 3-Modellen begonnen hat, und bestätigte, dass es sich dabei um Open Source handeln wird. Obwohl Details (wie die Modellgröße) noch nicht bestätigt wurden, ist wohl zu erwarten, dass das Llama 3 dem in den beiden Generationen zuvor etablierten Framework folgen wird.

Diese Fortschritte bei kleineren Modellen haben drei wichtige Vorteile:

• Sie tragen zur Demokratisierung der KI bei: Kleinere Modelle, die zu geringeren Kosten auf erschwinglicherer Hardware ausgeführt werden können, ermöglichen es mehr Amateuren und Institutionen, bestehende Modelle zu untersuchen, zu trainieren und zu verbessern.
• Sie können lokal auf kleineren Geräten ausgeführt werden: Dies ermöglicht eine ausgefeiltere KI in Szenarien wie Edge Computing und dem Internet der Dinge (IoT). Darüber hinaus hilft die lokale Ausführung von Modellen – wie auf dem Smartphone eines Benutzers – dabei, viele Bedenken hinsichtlich des Datenschutzes und der Cybersicherheit zu umgehen, die sich aus der Interaktion mit sensiblen persönlichen oder geschützten Daten ergeben.
• Sie machen KI besser erklärbar: Je größer das Modell, desto schwieriger ist zu erkennen, wie und wo es wichtige Entscheidungen trifft. Erklärbare KI ist unerlässlich, um die Ausgabe von KI-Systemen zu verstehen, zu verbessern und ihnen zu vertrauen.

Der Trend zu kleineren Modellen wird sowohl von der Notwendigkeit als auch von unternehmerischem Elan angetrieben, da die Kosten für Cloud Computing steigen, während die Verfügbarkeit von Hardware sinkt.

„Die großen Unternehmen (und es werden immer mehr) versuchen alle, KI-Funktionen intern zu nutzen, und es gibt einen regelrechten Run auf GPUs“, sagt James Landay, Vizedirektor und Forschungsleiter der Fakultät von Stanford HAI. „Dies wird nicht nur einen enormen Druck auf die GPU-Produktion ausüben, sondern auch auf Innovatoren, die Hardwarelösungen entwickeln müssen, die billiger und einfacher herzustellen und zu verwenden sind.“¹

Wie aus einem O'Reilly-Bericht von Ende 2023 hervorgeht, tragen Cloud-Provider derzeit einen Großteil der Rechenlast: Nur relativ wenige KI-Anwender unterhalten eine eigene Infrastruktur, und Hardware-Engpässe werden die Hürden und Kosten für die Einrichtung von lokalen Servern nur noch weiter erhöhen. Langfristig könnte dies zu einem Anstieg der Cloud-Kosten führen, da die Anbieter ihre eigene Infrastruktur aktualisieren und optimieren, um die Nachfrage durch generative KI effektiv zu decken.[5]

Für Unternehmen erfordert die Navigation in dieser unsicheren Geschäftswelt Flexibilität, und zwar in Bezug auf beide Modelle – also im Bedarfsfall auf kleinere, effizientere Modelle oder, wenn sinnvoll, auf größere, leistungsfähigere Modelle – und auf die Bereitstellungsumgebung. „Wir wollen nicht einschränken, wo Leute [ein Modell] bereitstellen“, sagte IBM CEO Arvind Krishna in einem Interview mit CNBC im Dezember 2023 in Bezug auf das IBM watsonx Portfolio an KI-Produkten. „Wenn sie es also in einer großen Public Cloud bereitstellen wollen, machen wir das dort. Wenn sie es bei IBM bereitstellen wollen, machen wir das bei IBM. Wenn sie es selbst machen wollen und über genügend Infrastruktur verfügen, machen wir das dort möglich.“

Der Trend zur Leistungsmaximierung kompakterer Modelle wird durch die jüngsten Ergebnisse der Open-Source-Community gut bedient. 

Viele wichtige Fortschritte wurden (und werden auch weiterhin) nicht nur durch neue Foundation Models, sondern auch durch neue Techniken und Ressourcen (wie Open-Source-Datensätze) für das Training, die Optimierung, Feinabstimmung oder Anpassung vorab trainierter Modelle vorangetrieben. Zu den bemerkenswerten modellunabhängigen Techniken, die sich im Jahr 2023 durchgesetzt haben, gehören:

• Low-Rank-Adaptation (LoRA): Anstatt Milliarden von Modellparametern direkt zu optimieren, beinhaltet LoRA das Einfrieren vortrainierter Modellgewichte und das Einfügen trainierbarer Ebenen – die die Matrix der Änderungen an Modellgewichtungen als zwei kleinere Matrizen (niedrigerer Rang) darstellen – in jeden Transformatorblock. Dadurch wird die Anzahl der Parameter, die aktualisiert werden müssen, drastisch reduziert, was wiederum die Feinabstimmung erheblich beschleunigt und den Speicherbedarf von Modellaktualisierungen reduziert.
• Quantisierung: Wie die Verringerung der Bitrate von Audio oder Video zur Reduzierung der Dateigröße und Latenz verringert die Quantisierung die Genauigkeit, mit der Modelldatenpunkte dargestellt werden – beispielsweise von 16-Bit-Gleitkomma auf 8-Bit-Ganzzahl – um den Speicherverbrauch zu reduzieren und die Inferenz zu beschleunigen. QLoRA-Techniken kombinieren Quantisierung mit LoRA.
• Direct Preference Optimization (DPO): Chat-Modelle verwenden in der Regel verstärkendes Lernen aus menschlichem Feedback (RLHF), um die Modellausgaben an die menschlichen Präferenzen anzupassen. RLHF ist zwar leistungsstark, aber auch komplex und instabil. DPO verspricht ähnliche Vorteile, ist aber rechenintensiv und wesentlich einfacher.

Neben parallelen Fortschritten bei Open-Source-Modellen im Parameterraum von 3 bis 70 Milliarden könnten diese sich entwickelnden Techniken die Dynamik der KI-Landschaft verändern, indem sie kleineren Akteuren wie Start-ups und Amateuren ausgefeilte KI-Fähigkeiten zur Verfügung stellen, die bisher unerreichbar waren.

Unternehmen können sich im Jahr 2024 durch die Entwicklung maßgeschneiderter Modelle von der Konkurrenz abheben, anstatt nur neu verpackte Dienstleistungen von „Big AI“ zu übernehmen. Mit den richtigen Daten und dem richtigen Framework können bestehende Open-Source-KI-Modelle und -Tools an nahezu jedes reale Szenario angepasst werden, von der Nutzung im Kundensupport über das Lieferkettenmanagement bis hin zur komplexen Dokumentenanalyse.

Open-Source-Modelle bieten Unternehmen die Möglichkeit, leistungsstarke benutzerdefinierte KI-Modelle zu entwickeln, die auf ihre proprietären Daten trainiert und auf ihre spezifischen Bedürfnisse abgestimmt werden – und das schnell und mit erschwinglichen Investitionen in die Infrastruktur. Dies ist besonders in Bereichen wie Recht, Gesundheitswesen oder Finanzen relevant, in denen hochspezialisiertes Vokabular und Konzepte von Foundation Models vor dem Training möglicherweise nicht erlernt wurden.

Recht, Finanzen und Gesundheitswesen sind ebenfalls Paradebeispiele für Branchen, die von Modellen profitieren können, die klein genug sind, um lokal auf bescheidener Hardware ausgeführt zu werden. Wenn KI-Training, Inferenz und Retrieval Augmented Generation (RAG) lokal gehalten werden, wird das Risiko vermieden, dass proprietäre Daten oder sensible personenbezogene Informationen zum Training von Closed-Source-Modellen verwendet werden oder anderweitig in die Hände Dritter gelangen. Die Verwendung von RAG für den Zugriff auf relevante Informationen anstelle der direkten Speicherung des gesamten Wissens im LLM selbst trägt dazu bei, die Modellgröße zu reduzieren, die Geschwindigkeit weiter zu erhöhen und die Kosten zu senken.

Im Jahr 2024 werden die Wettbewerbsbedingungen weiter angeglichen, sodass Wettbewerbsvorteile zunehmend durch proprietäre Datenpipelines entstehen, die eine branchenweit beste Feinabstimmung ermöglichen.

Mit ausgefeilteren, effizienteren Tools und einem Jahr Markt-Feedback sind Unternehmen bestens gerüstet, die Anwendungsfälle für virtuelle Agenten über einfache Customer Experience Chatbots hinaus zu erweitern.

Da KI-Systeme immer schneller werden und neue Informationsströme und -formate integrieren, erweitern sie nicht nur die Möglichkeiten der Kommunikation und des Befolgens von Anweisungen, sondern auch die der Aufgabenautomatisierung. „2023 war das Jahr, in dem man mit einer KI chatten konnte. Viele Unternehmen haben etwas auf den Markt gebracht, aber die Interaktion bestand immer darin, dass man etwas eingab und etwas zurückbekam“, sagt Norvig von Stanford. „Im Jahr 2024 werden wir erleben, dass Agenten Dinge für Sie erledigen können: Reservierungen vornehmen, eine Reise planen, sich mit anderen Diensten verbinden.“

Insbesondere die multimodale KI erhöht die Möglichkeiten für eine nahtlose Interaktion mit virtuellen Agenten erheblich. Anstatt beispielsweise einfach einen Bot nach Rezepten zu fragen, kann ein Benutzer eine Kamera auf einen offenen Kühlschrank richten und Rezepte anfordern, die mit den verfügbaren Zutaten zubereitet werden können. „Be My Eyes”, eine mobile App, die blinde und sehbehinderte Menschen mit Freiwilligen verbindet, um bei schnellen Aufgaben zu helfen, testet KI-Tools, die den Benutzern helfen, direkt mit ihrer Umgebung zu interagieren – und zwar durch multimodale KI, anstatt auf einen menschlichen Freiwilligen zu warten.

Entdecken Sie IBM watsonx Assistant: Eine marktführende dialogorientierte KI mit nahtloser Integration für die Tools, die Ihr Unternehmen voranbringen →

Verbesserte multimodale Funktionen und niedrigere Eintrittsbarrieren öffnen gleichzeitig neue Türen für Missbrauch: Deepfakes, Datenschutzprobleme, fortbestehende Verzerrung und sogar die Umgehung von CAPTCHA-Schutzmaßnahmen könnten für Kriminelle immer einfacher werden. Im Januar 2024 ging eine Welle von Deepfakes mit bestimmten Prominenten durch die sozialen Medien. Untersuchungen vom Mai 2023 ergaben, dass im Vergleich zum gleichen Zeitraum im Jahr 2022 achtmal so viele Deepfakes von Stimmen online gestellt wurden.[6]

Unklarheiten im regulatorischen Umfeld könnten kurz- bis mittelfristig die Einführung oder zumindest eine aggressivere Umsetzung verlangsamen. Jede größere, irreversible Investition in eine aufstrebende Technologie oder Praxis birgt ein Risiko, da sie in den kommenden Jahren aufgrund neuer Gesetze oder sich ändernder politischer Rahmenbedingungen möglicherweise eine erhebliche Umrüstung erforderlich machen oder sogar illegal werden könnte.

Im Dezember 2023 erzielte die Europäische Union (EU) eine vorläufige Einigung über das Gesetz über künstliche Intelligenz. Neben anderen Maßnahmen verbietet es das wahllose Scraping von Bildern zur Erstellung von Gesichtserkennungsdatenbanken, biometrische Kategorisierungssysteme mit Potenzial für diskriminierende Vorurteile, „Social Scoring“-Systeme und den Einsatz von KI zur sozialen oder wirtschaftlichen Manipulation. Außerdem soll eine Kategorie von KI-Systemen mit „hohem Risiko“ definiert werden, die das Potenzial haben, die Sicherheit, die Grundrechte oder die Rechtsstaatlichkeit zu gefährden und die einer zusätzlichen Aufsicht unterliegen. Ebenso werden Transparenzanforderungen für so genannte „General-Purpose AI (GPAI)“-Systeme – Foundation Models – festgelegt, einschließlich technischer Dokumentation und systemischer Adversarial Tests.

Doch während einige wichtige Akteure wie Mistral in der EU ansässig sind, findet der Großteil der bahnbrechenden KI-Entwicklung in Amerika statt, wo eine substanzielle Gesetzgebung zu KI im privaten Sektor Maßnahmen des Kongresses erfordert – was in einem Wahljahr unwahrscheinlich sein dürfte. Am 30. Oktober erließ die Biden-Regierung eine umfassende Durchführungsverordnung mit 150 Anforderungen an den Einsatz von KI-Technologien durch Bundesbehörden; Monate zuvor hatte die Regierung von prominenten KI-Entwicklern freiwillige Zusagen eingeholt, bestimmte Leitplanken für Vertrauen und Sicherheit einzuhalten. Bemerkenswert ist, dass sowohl Kalifornien als auch Colorado aktiv an ihrer eigenen Gesetzgebung zum Datenschutzrecht von Einzelpersonen in Bezug auf künstliche Intelligenz arbeiten.

China hat proaktivere Schritte in Richtung formeller KI-Beschränkungen unternommen, indem es Preisdiskriminierung durch Empfehlungsalgorithmen in sozialen Medien verbietet und die klare Kennzeichnung von KI-generierten Inhalten vorschreibt. Künftige Vorschriften für generative KI sollen regulieren, dass die für das Training von LLMs verwendeten Trainingsdaten und die anschließend von den Modellen generierten Inhalte „wahrheitsgemäß und genau“ sein müssen, was Experten als Hinweis auf Maßnahmen zur Zensur der LLM-Outputs werten.

In der Zwischenzeit bleibt die Rolle von urheberrechtlich geschütztem Material beim Training von KI-Modellen, die für die Generierung von Inhalten verwendet werden, von Sprachmodellen bis hin zu Bildgeneratoren und Videomodellen, ein heiß umstrittenes Thema. Der Ausgang der viel beachteten Klage der New York Times gegen OpenAI könnte die Entwicklung der KI-Gesetzgebung erheblich beeinflussen. Gegensätzliche Tools wie Glaze und Nightshade—beide entwickelt an der University of Chicago—sind in einer Art Wettrüsten zwischen Urhebern und Modellentwicklern entstanden.

Für Unternehmen wird dieses steigende Risiko für rechtliche, regulatorische, wirtschaftliche oder rufschädigende Konsequenzen durch die zunehmende Beliebtheit und Zugänglichkeit generativer KI-Tools noch verschärft. Sie müssen nicht nur über eine sorgfältige, kohärente und klar formulierte Unternehmensrichtlinie in Bezug auf generative KI verfügen, sondern auch auf Schatten-KI achten: die „inoffizielle“ persönliche Nutzung von KI am Arbeitsplatz durch Mitarbeiter.

Auch als „Schatten-IT“ oder „BYOAI“ bezeichnet, entsteht Schatten-KI, wenn ungeduldige Mitarbeiter, die schnelle Lösungen suchen (oder einfach neue Technologien schneller erforschen wollen, als es eine vorsichtige Unternehmenspolitik zulässt), generative KI am Arbeitsplatz implementieren, ohne die IT-Abteilung um Genehmigung oder Aufsicht zu bitten. Viele verbraucherorientierte Dienste, von denen einige kostenlos sind, ermöglichen es auch technisch nicht versierten Personen, die Nutzung generativer KI-Tools zu improvisieren. In einer Studie von Ernst & Young gaben 90 % der Befragten an, dass sie bei der Arbeit KI einsetzen.[7]

Dieser Unternehmergeist kann in einem Vakuum großartig sein – aber eifrigen Mitarbeitern fehlen möglicherweise relevante Informationen oder Perspektiven in Bezug auf Sicherheit, Datenschutz oder Compliance. Dies kann für Unternehmen mit einem hohen Risiko verbunden sein. Zum Beispiel könnte ein Mitarbeiter unwissentlich Geschäftsgeheimnisse an ein öffentlich zugängliches KI-Modell weitergeben, das kontinuierlich mit Benutzereingaben trainiert wird, oder urheberrechtlich geschütztes Material verwenden, um ein proprietäres Modell für die Erstellung von Inhalten zu trainieren und das Unternehmen rechtlichen Konsequenzen auszusetzen.

Wie viele aktuelle Entwicklungen unterstreicht dies, dass die Gefahren der generativen KI fast linear mit ihren Funktionen zunehmen. Mit großer Macht geht große Verantwortung einher.

Da wir uns in einem entscheidenden Jahr für die künstliche Intelligenz befinden, ist es unerlässlich, aufkommende Trends zu verstehen und sich an sie anzupassen, um das Potenzial zu maximieren, Risiken zu minimieren und die generative KI-Einführung verantwortungsvoll zu skalieren.