Vektoreinbettungen sind numerische Darstellungen von Datenpunkten, die verschiedene Datentypen – darunter Text und Bilder – in Zahlenreihen umwandeln, die von ML Modellen verarbeitet werden können.
Um dies zu erreichen, lernen Einbettungsmodelle, wie sie Eingabedaten in einen hochdimensionalen Vektorraum abbilden. Dieser Vektorraum spiegelt Muster wider, die durch eine aufgabenspezifische Verlustfunktion gelernt wurden, die Vorhersagefehler quantifiziert. Vektoreinbettungen können dann von nachgelagerten KI-Modellen, wie neuronalen Netzen im Deep Learning, genutzt werden, um Aufgaben wie Klassifizierung, Abruf oder Clustering durchzuführen.
Betrachten wir einen kleinen Korpus von Wörtern, bei dem die Worteinbettungen als dreidimensionale Vektoren dargestellt werden:
- Katze [0,2, -0,4, 0,7]
- Hund [0,6, 0,1, 0,5]
In diesem Beispiel ist jedes Wort („Katze“) mit einem eindeutigen Vektor verknüpft ([0,2, -0,4, 0,7]). Die Werte im Vektor repräsentieren die Position des Wortes in einem dreidimensionalen Vektorraum. Es wird erwartet, dass Wörter mit ähnlichen Bedeutungen oder Kontexten ähnliche Vektordarstellungen haben. Die Vektoren für „Katze“ und „Hund“ lägen nahe beieinander, was ihre semantische Beziehung widerspiegelt.
Ähnlich verhält es sich mit den Wörtern „Auto“ und „Fahrzeug“: Sie teilen die gleiche Bedeutung, werden aber unterschiedlich geschrieben. Damit eine KI-Anwendung eine semantische Suche durchführen kann, müssen die Vektordarstellungen von „Auto“ und „Fahrzeug“ ihre gemeinsame Bedeutung erfassen. Vektoreinbettungen kodieren diese Bedeutung numerisch und bilden damit das Rückgrat von Empfehlungsmaschinen, Chatbots und generativen Anwendung wie ChatGPT von OpenAI.