Lignes directrices sur l'utilisation des ressources pour les modèles de fondation personnalisés

En fonction de la version de votre modèle, il se peut que vous deviez attribuer des ressources spécifiques, telles que la mémoire ou le nombre de GPU, pour pouvoir le déployer avec succès.

Formules d'utilisation des ressources

Suivez ces formules lorsque vous affectez des ressources au déploiement de votre modèle de fondation personnalisé.

Important :

Le non-respect de ces formules peut entraîner un comportement inattendu du modèle.

Modèles non quantifiés :

Lignes directrices pour les spécifications de matériel personnalisé : modèles non quantifiés
Ressource	Calcul
Mémoire GPU	(Nombre de paramètres Billion * 2) + 50 % de mémoire supplémentaire
Nombre de GPU	Le nombre de GPU dépend des besoins en mémoire des GPU : 1GPU = 80 Go
Nombre de CPU	Nombre de GPU + 1
Mémoire de l'unité centrale	Egale à la mémoire du GPU

Modèles quantifiés :

modèles quantifiés à 4 bits :

Lignes directrices pour les spécifications matérielles personnalisées : modèles quantifiés à 4 bits
Ressource	Calcul
Mémoire GPU	(Nombre de paramètres Billion * 0.5 ) + 50 % de mémoire supplémentaire
Nombre de GPU	Le nombre de GPU dépend des besoins en mémoire des GPU : 1GPU = 80 Go
Nombre de CPU	Nombre de GPU + 1
Mémoire de l'unité centrale	Egale à la mémoire du GPU

modèles quantifiés sur 8 bits :

Lignes directrices pour les spécifications matérielles personnalisées : modèles quantifiés à 8 bits
Ressource	Calcul
Mémoire GPU	Nombre de paramètres Billion + 50 % de mémoire supplémentaire
Nombre de GPU	Le nombre de GPU dépend des besoins en mémoire des GPU : 1GPU = 80 Go
Nombre de CPU	Nombre de GPU + 1
Mémoire de l'unité centrale	Egale à la mémoire du GPU