Einrichten des Speichers und Hochladen des Modells

Um ein benutzerdefiniertes Foundation-Modell für die Inferenz mit bereitzustellen watsonx.ai, müssen Sie einen Persistent Volume Claim mit der richtigen Größe in Ihrem Cluster vorbereiten, das Modell hochladen und anschließend die erforderlichen Konvertierungen vornehmen. Die genauen Schritte hängen davon ab, wo sich Ihr Modell befindet.

Voraussetzungen

Für öffentliche Modell-Repositorys müssen Sie möglicherweise ein Konto einrichten. Wenn Sie sich beispielsweise dafür entscheiden, Ihr Modell von Hugging Face zu beziehen, benötigen Sie ein Konto bei Hugging Face. Um ein neues Konto zu erstellen, gehen Sie auf die Website Hugging Face. Nachdem Sie ein neues Konto erstellt haben, generieren Sie ein neues Token für „ Hugging Face “. Informationen zum Generieren eines Tokens finden Sie in der Anleitung zum Erstellen eines Tokens von Hugging Face.

Speicherplatz einrichten und ein Modell hochladen. Finden Sie ein Szenario, das zu Ihrem Modell passt: