Déploiement de modèles de fondation personnalisés sur des clusters MIG

Vous pouvez déployer un modèle de fondation personnalisé sur un cluster compatible MIG. Examiner les exigences matérielles et logicielles et les architectures de modèles prises en charge pour déployer des modèles de fondations personnalisés sur des clusters compatibles avec MIG.

Prérequis

Pour déployer des modèles de fondation personnalisés sur des clusters compatibles MIG, l'administrateur système doit examiner la configuration matérielle requise et configurer la prise en charge MIG sur un cluster. Pour plus d'informations, voir Exigences pour le déploiement de modèles de fondation personnalisés sur des clusters compatibles MIG dans la documentation IBM Software Hub.

Une fois que l'administrateur système a configuré la prise en charge MIG, les ingénieurs MLOps et les ingénieurs Prompt peuvent déployer des modèles de fondation personnalisés sur un cluster compatible MIG. Passez en revue les exigences avant de créer et de tester votre déploiement.

Tâches de déploiement de modèles de fondation personnalisés sur des clusters compatibles MIG

Vous devez suivre ces tâches pour déployer des modèles de fondation personnalisés sur des clusters compatibles MIG.

  1. Examiner les exigences: Examiner les exigences matérielles et logicielles et les architectures de modèles prises en charge pour déployer des modèles de fondations personnalisés sur des clusters compatibles avec MIG.
  2. Créer une ressource de modèle de base personnalisé: créez une ressource de référentiel pour votre modèle de base personnalisé dans Watson Machine Learning.
  3. Créer une spécification matérielle personnalisée: Créez une spécification matérielle personnalisée pour déployer votre modèle de base personnalisé.
  4. Déploiement d'un modèle de base personnalisé: Déployez votre modèle de base personnalisé en ligne ou par lots.
  5. Testez le déploiement d'un modèle de base personnalisé: Testez votre service d'IA déployé pour l'inférence en ligne ou l'évaluation par lots.
  6. Gérer le déploiement d'un modèle de fondation personnalisé: Accéder aux détails du déploiement et les mettre à jour. Vous pouvez également mettre à l'échelle ou supprimer le déploiement.