Angepasste Basismodelle bereitstellen
Sie können ein benutzerdefiniertes Fundamentmodell hochladen und bereitstellen, um es zu verwenden mit watsonx.ai Inferenzfähigkeiten.
Neben der Arbeit mit von IBMkuratierten Basismodellen können Sie jetzt auch eigene Basismodelle hochladen und bereitstellen. Nachdem die Modelle bereitgestellt und bei watsonx.ai registriert wurden, erstellen Sie Prompts, die die benutzerdefinierten Modelle aus dem „ Prompt Lab “ abrufen.
Die Bereitstellung eines angepassten Basismodells bietet Ihnen die Flexibilität, die KI-Lösungen zu implementieren, die für Ihren Anwendungsfall geeignet sind. Der Bereitstellungsprozess unterscheidet sich geringfügig je nach Quelle Ihres angepassten Basismodells.
Es empfiehlt sich, das Modell direkt aus dem Modellerstellungsprogramm abzurufen. Eine Anlaufstelle für neue Modelle ist Hugging Face, ein Repository für Open-Source-Grundmodelle, das von vielen Modellentwicklern genutzt wird.
Sehen Sie sich dieses Video an, um zu sehen, wie ein angepasstes Basismodell bereitgestellt wird.
In diesem Video wird eine visuelle Methode zum Erlernen der Konzepte und Tasks in dieser Dokumentation bereitgestellt.
Vorgehensweise zum Bereitstellen eines benutzerdefinierten Grundmodells
Bevor Sie Ihr benutzerdefiniertes Basismodell bereitstellen können, muss der Systemadministrator das Modell vorbereiten und in den PVC-Speicher hochladen. Nach dem Speichern des Modells muss der Administrator das Modell unter watsonx.ai registrieren.
Weitere Informationen zum Hinzufügen benutzerdefinierter Foundation-Modelle:
- watsonx.ai Komplettinstallation
- Siehe „Bereitstellen benutzerdefinierter Foundation-Modelle“ in der Dokumentation zu „ IBM “ unter Software Hub.
- watsonx.ai Einbau eines Leichtbaumotors
- Siehe „Hinzufügen benutzerdefinierter Foundation-Modelle zur Lightweight-Engine von ‚ watsonx.ai ‘“ in der Dokumentation zu „ IBM “ unter Software Hub.
Um Ihr benutzerdefiniertes Basismodell bereitzustellen, sollten Sie berücksichtigen, auf welcher Art von Cluster Sie es bereitstellen möchten. Die Anforderungen für die Bereitstellung unterscheiden sich je nachdem, ob Sie Ihr benutzerdefiniertes Basismodell auf einem GPU-fähigen Cluster oder einem MIG-fähigen Cluster bereitstellen. Nachdem Sie Ihr benutzerdefiniertes Basismodell bereitgestellt haben, können Sie die Bereitstellung verwalten, um Details zu aktualisieren, die Anzahl der Instanzen anzupassen und vieles mehr. Das bereitgestellte Modell kann dann für die Eingabeaufforderung verwendet werden.
