Bereitstellung optimierter Modelle

Sie können ein Modell so anpassen, dass es für eine bestimmte Aufgabe, einen bestimmten Datensatz oder einen bestimmten Anwendungsfall geeignet ist. Der Tuning-Prozess passt die Parameter oder Gewichte eines vortrainierten Modells an und verbessert die Leistung und Genauigkeit des Modells. Stellen Sie ein optimiertes Modell bereit, damit Sie es zu einem Geschäftsworkflow hinzufügen und Foundation-Modelle sinnvoll nutzen können.

Sie können ein Foundation-Modell bereitstellen, das mit einer der folgenden Techniken optimiert wurde:

  • Vollständige Feinabstimmung
  • Feinabstimmung der Low-Rank-Anpassung ( LoRA )
  • Feinabstimmung der quantisierten Anpassung mit niedrigem Rang ( QLoRA )

Arbeitsweisen

Sie verwenden verschiedene Methoden, um die optimierte Grundlage einzusetzen, darunter:

Anforderungen

Bevor Sie ein optimiertes Modell bereitstellen, müssen Sie die folgenden Aufgaben ausführen:

  1. Stimmen Sie ein Foundation-Modell mit dem „ Tuning Studio ” oder programmgesteuert ab. Weitere Informationen finden Sie unter Foundation-Modelle optimieren.

  2. Nur für fein abgestimmte Modelle von LoRA oder QLoRA : Überprüfen Sie die Anforderungen für die Bereitstellung von Modellen, die mit LoRA oder QLoRA, abgestimmt wurden, einschließlich unterstützter Modelle, Hardware- und Softwareanforderungen sowie Bereitstellungstypen. Weitere Informationen finden Sie unter „Anforderungen für die Bereitstellung von LoRA oder QLoRA optimierten Modellen “.

Workflow

Unabhängig davon, für welche Arbeitsweise Sie sich entscheiden, bleibt der allgemeine Arbeitsablauf für die Bereitstellung eines optimierten Foundation-Modell derselbe. Die Bereitstellung eines optimierten Modells umfasst die folgenden Aufgaben:

  1. Optional: Erstellen Sie ein Repository-Asset für das optimierte Foundation-Modell, falls das Asset beim Optimieren des Modells nicht automatisch erstellt wurde.
  2. Das optimierte Modell-Asset bereitstellen.
  3. Schlussfolgerung: Einsatz des optimierten Modells, um die Reaktionen Foundation-Modell optimierten Basismodells auf Texteingaben zu testen.
  4. Rufen Sie die Endpunkt- URL en für die optimierte Modellbereitstellung ab, die Sie verwenden können, um von Ihren Anwendungen aus auf die Bereitstellung zuzugreifen. Klicken Sie auf der Registerkarte „Bereitstellungen“ Ihres Projekts oder Bereitstellungsbereichs auf den Namen der Bereitstellung. Auf der Registerkarte „API-Referenz“ finden Sie die privaten und öffentlichen Endpunkt-Links sowie Codeausschnitte, mit denen Sie die Endpunktdetails in eine Anwendung einbinden können.

Weitere Informationen