Diretrizes de utilização de recursos para modelos de fundação personalizados

Dependendo da versão do seu modelo, talvez seja necessário atribuir recursos específicos, como memória ou número de GPUs, para poder implantá-lo com êxito.

Fórmulas de utilização de recursos

Siga estas fórmulas ao atribuir recursos para implementar seu modelo de base personalizado.

Importante:

O não cumprimento dessas fórmulas pode resultar em um comportamento inesperado do modelo.

Modelos não quantificados:

Diretrizes para especificações de hardware personalizado: modelos não quantizados
Recurso	Cálculo
Memória de GPU	(Número de parâmetros do Billion * 2) + 50% de memória adicional
Número de GPUs	O número de GPUs depende dos requisitos de memória da GPU: 1GPU = 80 GB
Número de CPUs	Número de GPUs + 1
Memória da CPU	Igual à memória da GPU

Modelos quantificados:

modelos quantizados de 4 bits:

Diretrizes para especificações de hardware personalizadas: modelos quantizados de 4 bits
Recurso	Cálculo
Memória de GPU	(Número de bilhões de parâmetros * 0.5 ) + 50 % de memória adicional
Número de GPUs	O número de GPUs depende dos requisitos de memória da GPU: 1GPU = 80 GB
Número de CPUs	Número de GPUs + 1
Memória da CPU	Igual à memória da GPU

modelos quantizados de 8 bits:

Diretrizes para especificações de hardware personalizado: modelos quantizados de 8 bits
Recurso	Cálculo
Memória de GPU	Número de parâmetros do Billion + 50% de memória adicional
Número de GPUs	O número de GPUs depende dos requisitos de memória da GPU: 1GPU = 80 GB
Número de CPUs	Número de GPUs + 1
Memória da CPU	Igual à memória da GPU