Was ist Google Gemini?

Gemini ist auch das Modell, das den Chatbot von Google für generative KI (gen AI) antreibt (früher Bard), der den gleichen Namen trägt, so wie Claude von Anthropic sowohl nach dem Chatbot als auch nach der Familie der LLMs benannt ist, die dahinter stehen. Die Gemini-Apps im Web und auf den Mobilgeräten fungieren als Chatbot-Schnittstellen für die zugrundeliegenden Modelle.

Google integriert den Gemini-Chatbot schrittweise in sein Technologieportfolio. Zum Beispiel ist Gemini der Standard-Assistent für künstliche Intelligenz (KI) auf den neuesten Smartphones Google Pixel 9 und Pixel 9 Pro und ersetzt den Google Assistant. In Google Workspace ist Gemini im Seitenbereich von Docs verfügbar, um beim Schreiben und Bearbeiten von Inhalten zu helfen, und im Seitenbereich von Google Mail, um beim Verfassen von E-Mails zu helfen, Antworten vorzuschlagen und den Posteingang eines Nutzers nach Informationen zu durchsuchen.

Auch andere Google-Apps integrieren Gemini. Google Maps nutzt beispielsweise die Funktionen des Gemini-Modells, um Zusammenfassungen von Orten und Gebieten bereitzustellen.

Gemini wurde anhand eines riesigen Korpus mehrsprachiger und multimodaler Datensätze trainiert. Es verwendet ein Transformatormodell, eine neuronale Netzwerkarchitektur, die Google selbst 2017 eingeführt hat.¹

Hier ist eine kurze Übersicht über die Funktionsweise von Transformer-Modellen:

• Encoder transformieren Eingabesequenzen in numerische Darstellungen, sogenannte Einbettungen, die die Semantik und Position von Token in der Eingabesequenz erfassen.

• Ein Selbstaufmerksamkeitsmechanismus ermöglicht es Transformern, ihre „Aufmerksamkeit“ auf die wichtigsten Token in der Eingabesequenz zu richten, unabhängig von ihrer Position.

• Decoder nutzen diesen Selbstaufmerksamkeitsmechanismus und die Einbettungen der Encoder, um die statistisch wahrscheinlichste Ausgabesequenz zu generieren.

Im Gegensatz zu generativen Pretrained Transformer-Modellen (GPT), die nur textbasierte Prompts verwenden, oder Diffusionsmodellen für die Bildgenerierung, die sowohl Text- als auch Bildprompts verwenden, unterstützt Google Gemini verschachtelte Sequenzen von Audio-, Bild-, Text- und Videosequenzen als Eingaben und kann verschachtelte Text und Bildausgaben als Ausgaben erzeugen.²

Die Gemini-Familie multimodaler KI-Modelle gibt es in mehreren Varianten. Jede Variante ist für unterschiedliche Geräte und Aufgaben optimiert.

Das Modell 1.0 der ersten Generation von Gemini ist in den Größen Nano und Ultra erhältlich. Das Modell der nächsten Generation, 1.5, ist in Pro und Flash erhältlich.

Über die Gemini-API in den KI-Entwicklungsplattformen Google AI Studio und Google Cloud Vertex können Sie auf den KI-Features und -Funktionen von Gemini aufbauen und mit ihnen experimentieren. Derzeit sind nur Gemini 1.5 Pro und Gemini 1.5 Flash verfügbar.

Gemini 1.0 Nano ist die kleinste Version der 1.0-Familie, die für den Betrieb auf mobilen Geräten entwickelt wurde, auch ohne Datennetz. Es kann auf dem Gerät Aufgaben ausführen, z. B. Bilder beschreiben, Antworten auf Chat-Nachrichten vorschlagen, Text zusammenfassen und Sprache transkribieren.

Gemini Nano ist auf Android-Geräten verfügbar, beginnend mit Pixel 8 Pro. Google geht über die Grenzen der Mobilgeräte hinaus und integriert Gemini Nano in seinen Chrome Desktop-Client.

Gemini 1.0 Ultra ist die größte Version der 1.0-Familie mit erweiterten Analysefunktionen. Es wurde für hochkomplexe Aufgaben wie Codierung, mathematisches Denken und multimodales Denken entwickelt. Das Kontextfenster – die Anzahl der Token, die ein Modell gleichzeitig verarbeiten kann – von Gemini Nano und Gemini Ultra beträgt 32.000 Token.²

Gemini 1.5 Pro ist ein mittelgroßes multimodales Modell mit einem Kontextfenster von bis zu 2 Millionen Token. Dieses lange Kontextfenster ermöglicht es Gemini Pro, Informationen in einem größeren Maßstab zu verarbeiten: von stundenlangen Audio- und Videodaten bis hin zu Tausenden von Codezeilen oder Hunderten von Seiten mit Dokumenten.³

Zusätzlich zu einer Transformer-Architektur wendet Gemini 1.5 Pro eine Mixture of Experts (MoE)-Architektur an. MoE-Modelle sind in kleinere „Experten“-Neural-Networks aufgeteilt, die jeweils auf einen bestimmten Bereich oder Datentyp spezialisiert sind. Das Modell lernt, je nach Eingabetyp selektiv nur die relevantesten Experten zu aktivieren. Dies führt zu einer schnelleren Leistung bei gleichzeitiger Senkung der Rechenkosten.⁴

Gemini 1.5 Flash ist eine schlanke Version von Gemini Pro. Es wurde mit einer Technik des maschinellen Lernens (ML) namens Wissensdestillation trainiert, bei der Erkenntnisse aus Gemini 1.5 Pro auf das kompaktere Gemini 1.5 Flash übertragen wurden. Es bietet auch ein langes Kontextfenster von bis zu 1 Million Token, hat aber eine geringere Latenz, was es schneller und effizienter macht.³

Google ist ein Pionier in Sachen LLM-Architektur und nutzt seine solide Forschung, um seine eigenen KI-Modelle zu entwickeln.

• 2017: Google-Forscher präsentieren die Transformer-Architektur, die vielen der heutigen LLMs zugrunde liegt.

• 2020: Das Unternehmen führt den Chatbot Meena ein, einen auf einem neuronalen Netz basierenden Chatbot mit 2,6 Milliarden Parametern.⁵

• 2021: Google stellt LaMDA (Language Model for Dialogue Applications) vor, sein dialogorientiertes LLM.⁶

• 2022: PaLM (Pathways Language Model) wird veröffentlicht, mit im Vergleich zu LaMDA erweiterten Funktionen.⁷

• 2023: Bard startet im ersten Quartal des Jahres und wird durch eine leichtgewichtige und optimierte Version von LaMDA unterstützt.⁸ Im zweiten Quartal wird PaLM 2 veröffentlicht – mit verbesserter Codierung, mehrsprachigen Fähigkeiten und Argumentationsfunktionen – und von Bard übernommen.⁹ Google kündigt Gemini 1.0 im letzten Quartal des Jahres an.

• 2024: Google benennt Bard in Gemini um und aktualisiert seine multimodalen KI-Modelle auf Version 1.5.

Das Wort „Zwillinge“ bedeutet auf Lateinisch „Zwillinge“ und ist sowohl ein Tierkreiszeichen als auch eine Konstellation. Ein passender Name, denn das Gemini-Modell ist das Produkt von Google DeepMind, einem Zusammenschluss der Teams von DeepMind und Google Brain. Das Unternehmen hat sich auch vom Projekt Gemini der NASA inspirieren lassen, einem Zwei-Personen-Raumschiff, das für den Erfolg der Apollo-Mission entscheidend war.¹⁰

Gemini Ultra übertrifft ähnliche Modelle in verschiedenen LLM-Benchmarks. Es übertrifft Claude 2, GPT-4 und Llama 2 in Benchmarks wie GSM8K für mathematisches Denken, HumanEval für Codegenerierung und MMLU für Natural Language Understanding.²

Bemerkenswert ist, dass Gemini Ultra sogar die Leistung der menschlichen Experten in MMLU übertrifft. Dennoch schneidet GPT-4 im HellaSwag-Benchmark für logisches Denken und natürlichsprachliche Inferenz besser ab als Gemini Ultra.²

Google hat auch die multimodalen Funktionen von Gemini Ultra evaluiert. Es schnitt besser ab als andere Modelle in den Benchmarks für Dokumentenverständnis, Bildverständnis und automatische Spracherkennung. Und obwohl Gemini Ultra die LLMs in den Benchmarks für automatische Sprachübersetzung, englische Videountertitel, multimodales Verstehen und Schlussfolgern sowie Beantwortung von Videofragen übertrifft, lässt die Leistung von Gemini Ultra in diesen Bereichen Raum für Verbesserungen.²

Inzwischen ist die Leistung von Gemini 1.5 Flash und Gemini 1.5 Pro mit der von Gemini 1.0 Ultra vergleichbar oder übertrifft diese sogar.¹¹ Wenn das Kontextfenster zunimmt, hält Gemini 1.5 Pro ein hohes Leistungsniveau aufrecht.⁴

Google Gemini befindet sich noch in den Kinderschuhen, aber dieses äußerst leistungsfähige KI-Modell hat das Potenzial, in einer Vielzahl von Anwendungen implementiert zu werden:

• Advanced Codierung

• Bild- und Textverständnis

• Sprachübersetzung

• Malware-Analyse

• Personalisierte KI-Experten

• Universelle KI-Agenten

• Sprachassistenten

Das Gemini-KI-Modell kann in Programmiersprachen wie C++, Java und Python eingesetzt werden, um Code zu verstehen, zu erklären und zu generieren. Google hat fein abgestimmte Versionen von Gemini Pro als Foundation Models verwendet, um AlphaCode2 zu entwickeln, ein Codegenerierungssystem, das wettbewerbsfähige Programmierprobleme mit Elementen der theoretischen Informatik und komplexen Mathematik lösen kann.

Gemini kann verwendet werden, um Text aus Bildern und Bildunterschriften zu extrahieren. Es kann visuelle Darstellungen wie Diagramme, Schaubilder und Zahlen ohne die Hilfe von OCR-Tools (Optical Character Recognition) analysieren, die Bilder von Text in ein maschinenlesbares Format umwandeln.

Aufgrund ihrer mehrsprachigen Funktionen können die KI-Modelle von Google zur Übersetzung verschiedener Sprachen verwendet werden. In der Meet-Videokonferenz-App können Benutzer beispielsweise übersetzte Untertitel einschalten, um in bestimmte Sprachen zu übersetzen.

Sowohl Gemini 1.5 Pro als auch Gemini 1.5 Flash können für die Malware-Analyse verwendet werden. Gemini Pro kann genau feststellen, ob eine Datei oder ein Codefragment bösartig ist, und einen detaillierten Bericht über die Ergebnisse erstellen.¹² In der Zwischenzeit kann Gemini Flash eine schnelle, groß angelegte Analyse von Malware durchführen.¹³

Google hat kürzlich eine neue Funktion namens Gems veröffentlicht, mit der Nutzer den Gemini-Chatbot anpassen können, um maßgeschneiderte KI-„Experten“ für jede Aufgabe oder jedes Thema zu erstellen. Einige Beispiele für vorgefertigte Edelsteine sind ein Lerncoach, der dabei hilft, komplexe Themen aufzuschlüsseln und leichter verständlich zu machen, ein Brainstorming-Partner, der frische Ideen für das nächste Video liefert, und ein Redakteur, der Feedback zu Grammatik und Struktur gibt.

Gems werden mit einem Gemini Advanced-Abonnement geliefert, das das Gemini 1.5 Pro-Modell verwendet.

Im Rahmen von Project Astra baut Google auf seinen Gemini-Modellen auf, um einen universellen KI-Agenten zu entwickeln, der multimodale Informationen in Echtzeit verarbeiten, speichern und verstehen kann. Um die Erinnerung und die Effizienz zu verbessern, nutzt Project Astra die Zwischenspeicherung, die kontinuierliche Kodierung von Videobildern und die Verknüpfung von Sprach- und Videoeingaben zu einer Zeitleiste der Ereignisse.¹⁴

In einer der Google-Demonstrationen konnte der KI-Assistent Gemini die Bestandteile eines Lautsprechers erklären, die Nachbarschaft einer Person erkennen und sich daran erinnern, wo sie ihre Brille abgelegt hat.¹⁴

Mit Gemini Live können Benutzer einen Dialog mit dem Gemini-Chatbot führen, der sich natürlicher und gesprächiger anfühlt. Es bietet intuitivere Antworten und kann sich an den Gesprächsstil einer Person anpassen.

Wie andere LLMs setzt sich auch Google Gemini weiterhin mit den Risiken der KI auseinander. Vorsicht ist geboten, insbesondere für Einzelpersonen, die Gemini verwenden möchten, und für Unternehmen, die das Modell für die kommerzielle Nutzung oder die Integration in ihre Workflows in Betracht ziehen.

Verzerrung: Im Februar 2024 beschloss Google, die Fähigkeit des Chatbots, Bilder von Menschen zu erstellen, aufgrund seiner ungenauen Darstellung historischer Persönlichkeiten auszusetzen und damit eine Geschichte rassistischer Verzerrung zu löschen.¹⁵

Halluzinationen: Zum Zeitpunkt der Erstellung dieses Artikels führen die von Gemini unterstützten KI-Übersichtssuchergebnisse gelegentlich immer noch zu sachlich falschen Ergebnissen.

Verletzungen des geistigen Eigentums: Google wurde von den französischen Aufsichtsbehörden mit einer Geldstrafe belegt, da der intelligente Chatbot des Unternehmens ohne das Wissen oder die Zustimmung der Verlage im Land auf Nachrichten und Inhalte trainiert worden war.¹⁶