Was ist Quantisierung?

Quantisierung ist eine Methode, die in Large Language Models (LLMs) verwendet wird, um Gewichtungen und Aktivierungswerte von Daten mit hoher Genauigkeit – üblicherweise 32-Bit-Gleitkomma (FP32) oder 16-Bit-Gleitkomma (FP16) – in Daten mit niedrigerer Genauigkeit, wie 8-Bit-Ganzzahl (INT8), umzurechnen. Daten mit hoher Genauigkeit (bezogen auf FP32 und FP16) tragen ihren Namen, weil Modelle, die diese Datentypen verwenden, in der Regel eine höhere Genauigkeit aufweisen. Dies liegt daran, dass die Daten, wenn sie in etwas wie INT8 komprimiert werden, in eine kleinere Größe gepresst werden. Dies führt effektiv zu einer geringeren Genauigkeit, was auch als Quantisierungsfehler bezeichnet wird. Ein Aktivierungswert ist eine Zahl (zwischen Null und Eins), die dem künstlichen Neuron des Neural Network zugewiesen wird. Diese zugewiesene Nummer wird als ihr Aktivierungswert bezeichnet. Eine 8-Bit-Quantisierung ist im Allgemeinen das Ziel, aber auch quantisierte Daten von 4-Bit-Ganzzahlen (INT4) und niedriger wurden bereits erfolgreich erreicht. Im Wesentlichen handelt es sich um den Quantisierungsprozess unter Verwendung von Kompressionstechniken in einem Neural Network, um eine große Anzahl von Bits in eine kleine Anzahl von Bits umzuwandeln. ¹

Der Rechenleistungsbedarf beim Betrieb eines LLM mit FP32 kann enorm sein. Neben dem erhöhten Rechenleistungsbedarf kann auch die Inferenz (der Vorgang, bei dem ein LLM eine Antwort auf die Abfrage eines Benutzers generiert) verlangsamt werden. Die Quantisierung kann ein großartiges Optimierungstool sein, um sowohl den Rechenaufwand zu reduzieren, als auch gleichzeitig die Inferenzgeschwindigkeit eines LLM zu erhöhen. Der Quantisierungsprozess basiert auf der Prämisse, die Gewichte in einen Datentyp mit geringerer Präzision zu konvertieren, während die Leistung des Modells nahezu identisch bleibt. Die Konvertierung von Gewichten in einen Datentyp mit geringerer Genauigkeit führt zu geringeren Rechenkosten, da bei jedem Durchlauf des Modells weniger Bits verarbeitet werden müssen. Wenn weniger Bits verarbeitet werden, wird auch jede Abfrage an das LLM schneller verarbeitet.

Es gibt etwa 4 Milliarden Werte innerhalb der FP32-Menge möglicher Werte, die von -3,4 1038 bis 3,4 1038 reichen. Bei INT8 hingegen sehen wir nur 256 Werte innerhalb des möglichen Wertebereichs von -128 bis 128. Da es sich bei Letzterem um eine wesentlich kleinere Menge von Werten handelt, kann die Matrixmultiplikation viel schneller erfolgen. Aufgrund der immensen Rechenkosten von Deep-Learning-basierten Modellen sind genaue und effiziente Algorithmen unerlässlich.

Der Prozess der Quantisierung erfolgt, indem zunächst der optimale Weg für die Projektion der 32-Bit-Gleitkommawerte in das INT8-Feld bestimmt wird. Dazu gibt es mehrere Algorithmen zur Quantisierung eines Modells. Wir werfen einen Blick auf zwei Quantisierungsmethoden: Absolute-Max- und affine Quantisierung.

Um bei der Absolute-Max-Quantisierung die Zuordnung zwischen der Gleitkommazahl und der entsprechenden INT8-Zahl zu berechnen, muss man zunächst durch den absoluten Maximalwert des Tensors dividieren und dann mit dem Gesamtbereich des Datentyps multiplizieren.

Als Beispiel wenden wir den Algorithmus zur Absolute-Max-Quantisierung auf den folgenden Vektor an: [1,6, −0,7, −3,4, 1,7, −2,9, 0,5, 2,3, 6,2]. Sie extrahieren das absolute Maximum, in diesem Fall 6,2. INT8 hat einen Bereich von [−127, 127], daher teilen wir 127 durch 6,2 und erhalten 20,5 für den Skalierungsfaktor. Die Multiplikation des ursprünglichen Vektors mit diesem Faktor ergibt den quantisierten Datenvektor [33, −14, −70, 35, −59, 10, 47, 127]. Da diese Zahlen gerundet werden, kommt es zu einem gewissen Genauigkeitsverlust. ⁵

Um den Algorithmus zur affinen Quantisierung zu implementieren, definieren wir unseren Bereich von 32-Bit-Gleitkommawerten als [a, b]. Der Algorithmus zur affinen Quantisierung lautet wie folgt:

𝑥𝑞 = gerundet ((1/𝑆)𝑥+𝑍)

- 𝑥𝑞 ist der quantisierte INT8-Wert, der dem 32-Bit-Gleitkommawert x entspricht.

– S ist ein FP32-Skalierungsfaktor und ein positiver 32-Bit-Gleitkommawert.

– Z ist der Nullpunkt. Dies ist der INT8-Wert, der der Null im 32-Bit-Gleitkommafeld entspricht.

- Gerundet bezeichnet das Runden des resultierenden Wertes auf die nächste Ganzzahl.

Um als Nächstes die [min, max] unserer 32-Bit-Gleitkommawerte zu ermitteln, müssen wir alle Ausreißer berücksichtigen. Werden diese Ausreißer außer Acht gelassen, können sie entweder Min oder Max zugeordnet werden und die Genauigkeit des quantisierten Modells verzerren. Um dem entgegenzuwirken, kann das Modell in Blöcken quantisiert werden. Die Gewichtungen können in Gruppen zu 64 oder 128 unterteilt werden. Anschließend werden diese Gruppen quantisiert, um Ausreißer zu berücksichtigen und das Risiko einer verringerten Präzision zu minimieren. ⁶

Quantisierung nach dem Training findet dann statt, wenn diese auf ein vorhandenes Modell angewendet wird. Dadurch wird das Modell von einer Gleitkommadarstellung in eine Festkomma-Ganzzahl mit niedrigerer Genauigkeit konvertiert, ohne dass ein erneutes Training erforderlich ist. Diese Methode erfordert nicht so viele Daten wie quantisierungsbewusstes Training und ist deutlich schneller. Da jedoch ein bereits vorhandenes Modell im Wesentlichen auf ein kleineres Modell umgestellt wird, kann die Quantisierung nach dem Training zu Leistungseinbußen führen. Ein Beispiel für einen Anwendungsfall von Quantisierung nach dem Training wäre, wenn Sie bereits über ein funktionierendes Modell verfügen und dessen Geschwindigkeit und Effizienz erhöhen möchten. Das liegt daran, dass Quantisierung nach dem Training stattfindet, nachdem ein Modell trainiert wurde (das heißt, ein bereits vorhandenes Modell), sodass für diesen Prozess keine große Menge an Trainingsdaten erforderlich ist. ⁷

Quantisierungsbewusstes Training beinhaltet die Umrechnung von Gewichten während des Vortrainings oder der Feinabstimmung eines LLM. Dies ermöglicht eine verbesserte Leistung, erfordert jedoch eine große Menge an Rechenleistung sowie repräsentative Trainingsdaten. Insgesamt führt ein quantisierungsbewusstes Training in der Regel zu einem Modell mit höherer Leistung, das jedoch teurer ist und weitaus mehr Rechenleistung benötigt. Quantisierungsbewusstes Training wäre beispielsweise dann angebracht, wenn Sie über eine ausreichende Menge an Trainingsdaten und ein größeres Budget verfügen. Man sollte ebenfalls bedenken, dass dieser Prozess während der Trainingsphase des Modells stattfindet – es ist daher nicht sinnvoll, diese Methode bei einem bereits trainierten Modell anzuwenden. ⁷

Der Nutzen dieser beiden Methoden besteht in der Auswahl des Clipping-Intervalls – oder der Kalibrierung, wie es auch oft genannt wird – denn bei der dynamischen Quantisierung wird das Clipping-Intervall für jede Aktivierung dynamisch berechnet. Normalerweise führt diese Art von Quantisierungsmethode zu einer höheren Genauigkeit. Wie der Name schon sagt, verwendet die statische Quantisierung ein festes Clipping-Intervall für alle Eingaben. Diese Form der Quantisierung wird häufiger verwendet als die dynamische Quantisierung und kann sehr kostspielig sein.

Wenn die Gewichtungen während der Quantisierung umgerechnet werden, kommt es bei quantisierten Modellen des maschinellen Lernens manchmal zu einem Verlust an Genauigkeit innerhalb der quantisierten Werte. Die Modellgröße sollte berücksichtigt werden, da bei der Quantisierung außergewöhnlich großer LLMs mit zahlreichen Parametern und Schichten das Risiko einer signifikanten Akkumulation von Quantisierungsfehlern besteht. ⁸

Das Training von Modellen für maschinelles Lernen kann extrem kostspielig sein, insbesondere beim quantisierungsbewussten Training (Quantization Aware Training, QAT). Dies macht die Quantisierung nach dem Training (Post-Training Quantization, PTQ) aus kosteneffizienter Sicht zur besten Wahl. Dadurch wird das Modell jedoch in einigen Aspekten eingeschränkt, da quantisierungsbewusstes Training in der Regel ein genaueres Modell liefert. ⁹