Bereitstellung von KI-Diensten
Ein KI-Service ist eine einsatzfähige Codeeinheit, mit der Sie die Logik Ihrer generativen KI-Anwendungsfälle erfassen können. Wenn Ihre KI-Dienste erfolgreich implementiert sind, können Sie den Endpunkt für Inferenzen aus Ihrer Anwendung heraus verwenden.
Einsatz von generativen KI-Anwendungen mit KI-Diensten
Während Python die herkömmliche Methode zur Bereitstellung von maschinellen Lernressourcen sind, bieten KI-Dienste eine flexiblere Option zur Bereitstellung von Code für generative KI-Anwendungen wie Streaming.
Im Gegensatz zur Python für den Einsatz eines prädiktiven maschinellen Lernmodells, die Eingaben in einem festen Schema erfordert, bietet ein KI-Dienst Flexibilität für mehrere Eingaben und ermöglicht die Anpassung.
KI-Dienste bieten eine sichere Lösung für die Bereitstellung Ihrer Code-Funktionen. So werden z. B. Berechtigungsnachweise wie Inhaber-Tokens, die für die Authentifizierung erforderlich sind, vom Dienst aus den Aufgabendaten generiert, und das Token wird dem KI-Dienst-Asset zur Verfügung gestellt. Mit diesem Token können Sie Verbindungsdaten abrufen, Daten herunterladen und vieles mehr.
KI-Dienste mit Code bereitstellen
Wenn Sie Ihre generativen KI-Anwendungen von Grund auf aufbauen, können Sie einen KI-Dienst verwenden, um die Programmierlogik Ihrer Anwendung zu erfassen, die dann mit einem Endpunkt für Inferenzen bereitgestellt werden kann. Wenn Sie zum Beispiel eine RAG-Anwendung mit Frameworks wie LangChain, LlamaIndex, oder anderen erstellen, können Sie einen KI-Dienst verwenden, um die Logik für das Abrufen von Antworten aus dem Vektorindex im KI-Dienst zu erfassen und den KI-Dienst bereitzustellen.
Weitere Informationen finden Sie unter "Deployment von KI-Diensten mit Code ".