Was ist ein vortrainiertes Modell?

Vortrainierte Modelle erfordern umfangreiche Ressourcen, Infrastruktur und Fachwissen und werden in der Regel von einer Kombination aus großen Technologieunternehmen, akademischen Einrichtungen, gemeinnützigen Organisationen und Open-Source-Communitys erstellt. In Bereichen wie Deep Learning, wo Modelle Millionen von Parametern benötigen, bieten vortrainierte Modelle einen Ausgangspunkt, sodass Practitioner vermeiden, bei jeder Entwicklung einer maschinellen Lernanwendung, das Rad neu erfinden zu müssen.

Modelltraining „lehrt“ ein maschinelles Lernmodell, die Leistung anhand eines Trainingsdatensatzes von Beispielaufgaben zu optimieren, die für spätere Anwendungsfälle relevant sind. Diese Trainingsdaten müssen realen Problemen ähneln, mit denen das Modell konfrontiert wird, damit es die Muster und Beziehungen der Daten erlernen kann, um genaue Vorhersagen über neue Daten zu treffen.

Dieser Lernprozess umfasst die Anpassung der Parameter eines Modells sowie der Gewichtungen und Verzerrungen in den mathematischen Funktionen, die den Algorithmen des maschinellen Lernens zugrunde liegen. Solche Anpassungen sollen zu genaueren Ausgaben führen.

Mathematisch gesehen besteht das Ziel dieses Prozesses darin, eine Verlustfunktion zu minimieren, die den Fehler der Modellausgaben quantifiziert. Wenn die Ausgabe unter einen bestimmten Schwellenwert fällt, gilt das Modell als „trainiert“. Beim Reinforcement Learning ist das Ziel umgekehrt: Die Parameter des Modells werden optimiert, um eine Belohnungsfunktion zu maximieren, anstatt eine Verlustfunktion zu minimieren.

Das Modelltraining beinhaltet einen Zyklus, in dem Daten gesammelt und vorverarbeitet, diese Trainingsdaten in das Modell eingespeist werden, der Verlust gemessen, Parameter optimiert und die Leistung anhand von Validierungsdaten getestet wird. Dieser Workflow wird wiederholt, bis zufriedenstellende Ergebnisse erzielt werden. Das Training kann auch die Anpassung von Hyperparametern beinhalten – strukturelle Entscheidungen, die den Lernprozess beeinflussen, aber selbst nicht „lernfähig“ sind – in einem Prozess, der als Hyperparameter-Tuning bezeichnet wird.

Der Hauptvorteil eines vortrainierten Modells besteht darin, dass Entwickler nicht bei Null anfangen müssen, sondern Modelle verwenden, die bereits allgemeine Funktionen – wie z. B. die Sprachstruktur oder visuelle Formen – erlernt haben, und sie durch Feinabstimmung auf kleineren, domänenspezifischen Datensätzen anpassen können. Die Feinabstimmung ist eine von mehreren Arten des Transferlernens, einem Oberbegriff für Techniken, die vortrainierte Modelle für neue Verwendungszwecke anpassen.

Die Verwendung eines vortrainierten Modells beschleunigt die Entwicklung und ermöglicht es kleineren Unternehmen wie Start-ups, die möglicherweise keinen Zugang zu ausreichenden Rechen-, Daten- oder Infrastrukturlösungen haben, mit modernsten Modellen zu experimentieren. Es ist, als würde man ein Outfit von der Stange kaufen und es dann auf die individuelle Gestalt der Trägerin maßschneidern lassen.

Die Verwendung vortrainierter Modelle bedeutet, dass Anwender auf Architekturen zugreifen können, die bereits in realen Szenarien validiert, mit Benchmarks verglichen und getestet wurden. Dies senkt das Risiko und trägt zur Gewährleistung der Zuverlässigkeit bei. Beliebte vortrainierte Modelle verfügen über umfangreiche Dokumentationen, Tutorials und Code, mit denen Modelle für einzelne Projekte angepasst werden können.

Vortrainierte große Sprachmodelle (Large Language Models, LLMs) werden in zahlreichen Unternehmen eingesetzt, um Anwendungsfälle der Verarbeitung natürlicher Sprache (NLP) wie die Beantwortung von Fragen, Stimmungsanalysen, semantische Segmentierung, generative KI und vieles mehr voranzubringen. Diese lange Liste von LLMs enthält viele der beliebtesten Optionen. Andere KI-Modelle sind auf Computer Vision spezialisiert, wie z. B. Modelle zur Objekterkennung und Bildklassifizierung.

Eine der frühesten und einflussreichsten Ressourcen für bildbasierte Modelle ist ImageNet, ein riesiger Datensatz, der zum brancheneigenen Benchmark für Computer Vision wurde. Architekturen wie ResNet und Inception, die auf ImageNet trainiert wurden, sind grundlegend für Computer Vision Workflows. Diese Modelle zeichnen sich durch die Extraktion von Funktionen aus, indem sie Edges, Texturen und Formen erkennen, die für die Klassifizierung neuer Bilder nützlich sind.

Es gibt eine Reihe von Modell-Hubs und Bibliotheken, in denen Unternehmen vortrainierte Modelle hosten. Hier sind einige der wichtigsten:

• PyTorch Hub ist ein Repository für vortrainierte Modelle, das die Reproduzierbarkeit von Forschungsergebnissen erleichtern und die Verwendung von vortrainierten Modellen innerhalb des PyTorch-Ökosystems von Python vereinfachen soll.

• TensorFlow Hub ist ein Repository trainierter Modelle, die zur Feinabstimmung bereitstehen und überall eingesetzt werden können. BERT-Modelle und Faster R-CNN (Convolutional Neural Networks) können mit nur wenigen Codezeilen wiederverwendet werden.

• Hugging Face Models konzentriert sich auf NLP- und Bildverarbeitungsmodelle und bietet Zugang zu hochmodernen Modellen wie BERT, GPT und mehr, in Kombination mit Tools und Tutorial für Inferenz und Training. Die IBM Granite-Familie vortrainierter Modelle finden Sie auf Hugging Face. Diese Modelle sind offen, leistungsstark und vertrauenswürdig sowie für Anwendungsfälle optimiert. Granite umfasst unter anderem Modelle für Sprache, Ansicht, Sprech- und Zeitreihen, neben weiteren Anwendungen.

• Kaggle ist eine Plattform für Data Science und maschinelles Lernen, die Raum für Wettbewerbe, Datensätze und eine Community für Zusammenarbeit und Lernen bietet.

• GitHub ist eine proprietäre Entwicklerplattform, die es Entwicklern ermöglicht, ihren Code zu erstellen, zu speichern, zu verwalten und zu teilen. Viele Forscher und Unternehmen veröffentlichen hier vortrainierte Modelle mit Code, Gewichten und Dokumentation in Repositories.

• NVIDIA NGC Catalog bietet optimierte vortrainierte Modelle für die GPU-Beschleunigung, einschließlich Computer Vision, medizinischer Bildgebung und Sprach-KI.

• OpenAI Models stellt seine generativen, vortrainierten Transformer-Modelle bereit, auch bekannt als GPT, wie z. B. den ChatGPT Chatbot, Codex und DALL-E, über API. Der Zugriff erfolgt Cloud-basiert und nicht über einen direkten Download, sondern über Plattformen wie die OpenAI API oder Azure OpenAI.

• KerasHub ist eine vortrainierte Modellbibliothek, die einfach, flexibel und schnell sein soll und Keras drei Implementierungen beliebter Architekturen bereitstellt.