KI-Dienste mit Vorlagen kodieren und bereitstellen

Standardisierung von KI-Service-Bereitstellungen mit Vorlagen

KI-Servicevorlagen sind vorgefertigte, wiederverwendbare und anpassbare Komponenten, die einen strukturierten Ansatz für die Bereitstellung und Verwaltung von generativen KI-Anwendungen bieten. Sie bieten eine standardisierte Möglichkeit, KI-Modelle zu verpacken, bereitzustellen und in andere Anwendungen und Systeme zu integrieren. So können sich Entwickler auf die Erstellung und das Training von Modellen konzentrieren, ohne sich um die zugrunde liegende Infrastruktur und die Bereitstellungslogistik kümmern zu müssen. Durch die Bereitstellung einer vordefinierten Struktur, Konfiguration und eines Satzes von Tools vereinfachen KI-Service-Vorlagen den Prozess der Bereitstellung von KI-Services, verringern das Fehlerrisiko und verbessern die Gesamteffizienz und Konsistenz der KI-Entwicklung und -Bereitstellung.

Zugriff auf und Verwendung der Vorlagen

Die Vorlagen befinden sich im Repository IBM Git, wo Sie sie klonen und auf sie zugreifen können, um sie auf Ihrem eigenen Computer und in Ihrer IDE zu verwenden. Um die Vorlagen zu verwenden, klonen Sie einfach das Repository, navigieren Sie zum Vorlagenverzeichnis und öffnen Sie die Vorlage in Ihrer bevorzugten IDE, wie z. B. VSCode oder PyCharm,, um mit der Erstellung und Anpassung Ihres KI-Dienstes zu beginnen. Weitere Informationen finden Sie unter "Mustervorlagen ".

Komponenten von AI-Dienstvorlagen

Die Komponenten einer KI-Dienstvorlage sind wie folgt:

• Quellverzeichnis : Das Quellverzeichnis enthält den von den eingesetzten Funktionen verwendeten Code (aus der Datei ai_service.py ). Bei der Bereitstellung wird das Quellverzeichnis verpackt und als Paketerweiterung an die Cloud gesendet.

• Kernanwendungslogik : Die Hauptanwendungslogik ist in der Datei ai_service.py enthalten. Diese Datei umfasst die Funktionen, die bereitgestellt werden sollen, einschließlich der Kernlogik der Anwendung, der Definition des Eingabeschemas und des Authentifizierungscodes.

• Konfigurationsdatei : Die Datei config.toml speichert die Bereitstellungs-Metadaten und Konfigurationseinstellungen für das Modell.

• Tests : tests/ enthält die Einheitstests für die Vorlage, einschließlich Tests für Werkzeuge und Hilfsfunktionen.

• Skripte für die Bereitstellung : Die scripts/deploy.py stellt die Vorlage in der IBM Cloud bereit. Die examples/execute_ai_service_locally.py kann verwendet werden, um den KI-Dienst lokal auszuführen. Die examples/query_existing_deployment.py kann verwendet werden, um auf eine bestehende Einrichtung zu schließen.

• Projektkonfiguration : Die Datei pyproject.toml verwaltet Abhängigkeiten und Pakete für das Projekt.

Bereitstellung von KI-Diensten mit Vorlagen

Gehen Sie folgendermaßen vor, um AI-Dienste mit Vorlagen bereitzustellen:

1. Bereiten Sie die Vorlage vor : Um die Vorlage vorzubereiten, müssen Sie das Vorlagen-Repository klonen, die erforderlichen Abhängigkeiten und Tools wie Pipx oder Poetry installieren, die Umgebung auf Ihrem lokalen System einrichten und die virtuelle Umgebung aktivieren. Dadurch wird sichergestellt, dass die Vorlage ordnungsgemäß konfiguriert und einsatzbereit ist.

2. Konfigurieren Sie die Vorlage : Konfigurieren Sie die Vorlage, indem Sie die Datei config.toml mit den erforderlichen Anmeldedaten und Konfigurationseinstellungen ausfüllen. Dazu gehört auch die Anpassung des Modells mit der Anwendungslogik an die spezifischen Anforderungen des KI-Dienstes. Die Konfigurationsdatei speichert Bereitstellungs-Metadaten und Konfigurationseinstellungen für das Modell und wird verwendet, um das Modell für lokale Läufe zu optimieren.

   Sie können der Anwendung auch zusätzliche Schlüsselwertdaten zur Verfügung stellen, indem Sie Parameter sets oder das Objekt CUSTOM in der Datei config.toml verwenden. Weitere Informationen zum Speichern und Verwalten von Parametersätzen finden Sie unter Parametersätze in der Dokumentation Python.

   Für den Umgang mit externen Anmeldeinformationen können Sie IBM Secrets Manager verwenden. Secrets Manager ist ein Dienst, mit dem Sie sensible Informationen wie API-Schlüssel und Kennwörter sicher speichern und verwalten können. Durch die Verwendung von Secrets Manager können Sie Ihre Anmeldedaten aus Ihrem Code und Ihren Konfigurationsdateien heraushalten, was zur Verbesserung der Sicherheit Ihrer Anwendung beiträgt. Weitere Informationen finden Sie in der IBM Cloud Secrets Manager API-Dokumentation.

3. Testen Sie die Vorlage : Bevor Sie die Vorlage bereitstellen, müssen Sie sie unbedingt testen, um sicherzustellen, dass sie korrekt funktioniert. Dies beinhaltet die Durchführung von Einheitstests, um zu überprüfen, ob die Vorlage wie erwartet funktioniert. Testen Sie die Anwendung lokal, indem Sie entweder:

   • Installieren und Ausführen von ibm-watsonx-ai-cli , mit dem Sie KI-Dienste direkt von Ihrer lokalen Umgebung aus auf watsonx.ai bereitstellen können. Einzelheiten finden Sie unter Codierung und Bereitstellung von KI-Diensten mit ibm- watsonx -ai-cli.
   • Ausführen des Skripts examples/execute_ai_service_locally.py .

4. Stellen Sie die Vorlage bereit : Sobald die Vorlage getestet und validiert wurde, kann sie mit dem Skript scripts/deploy.py bereitgestellt werden. Dieses Skript automatisiert den Verteilungsprozess und erstellt eine Paketerweiterung. Sie können den Secrets Manager verwenden, um externe Anmeldeinformationen während der Bereitstellung zu verwalten. Erstellen Sie dazu ein Geheimnis, das die zu verwendenden Anmeldeinformationen enthält. Sobald Sie Ihr Geheimnis erstellt haben, können Sie bei der Bereitstellung darauf verweisen. Dadurch wird Ihre Anwendung mit den Anmeldedaten aus dem Geheimnis bereitgestellt. Der Verteilungsprozess kann einige Minuten in Anspruch nehmen. Danach erhalten Sie eine Verteilungs-ID.

5. Inferenz der Vorlage : Sie können den bereitgestellten KI-Dienst mithilfe des Skripts examples/query_existing_deployment.py ableiten. Verwenden Sie dieses Skript, um den AI-Dienst mit Beispieleingaben zu testen und die Ausgabe zu überprüfen. Sie können auch die Benutzeroberfläche verwenden, um die Bereitstellung zu ermitteln und mit dem KI-Dienst zu interagieren.

Beispielvorlage

Um zu erfahren, wie KI-Dienste mithilfe von Vorlagen bereitgestellt werden, sehen Sie sich die folgende offizielle Beispielvorlage an:

Die folgenden Vorlagen werden von der Community veröffentlicht und gepflegt: