Was ist ein KI-Beschleuniger?

Mit der zunehmenden Verbreitung der KI-Technologie sind KI-Beschleuniger für die Verarbeitung von großen Datenmengen, die für den Betrieb von KI-Anwendungen erforderlich sind, von entscheidender Bedeutung. Derzeit umfassen die Anwendungsfälle von KI-Beschleunigern Smartphones, PCs, Robotertechnik, autonome Fahrzeuge, das Internet der Dinge (IoT), Edge Computing und vieles mehr.

Jahrzehntelang waren Computersysteme für eine Vielzahl spezialisierter Aufgaben auf Beschleuniger (oder Coprozessoren) angewiesen. Typische Beispiele für Coprozessoren sind Grafikprozessoren (GPUs), Soundkarten und Grafikkarten.

Mit der Zunahme von KI-Anwendungen in den letzten zehn Jahren waren herkömmliche CPU-Einheiten (Central Processing Units) und sogar einige Grafikprozessoren nicht in der Lage, die für den Betrieb von KI-Anwendungen erforderlichen großen Datenmengen zu verarbeiten. Hier kommen die KI-Beschleuniger ins Spiel, die über spezielle Parallelverarbeitungsfunktionen verfügen, mit denen sie Milliarden von Berechnungen gleichzeitig durchführen können.

Da die KI-Branche in neue Anwendungen und Bereiche expandiert, sind KI-Beschleuniger von entscheidender Bedeutung, um die Verarbeitung von Daten zu beschleunigen, die für die Erstellung von KI-Anwendungen im großen Maßstab erforderlich sind.

Ohne KI-Beschleuniger wie GPUs, Field Programmable Gate Arrays (FPGAs) und anwendungsspezifische integrierte Schaltkreise (ASICs) zur Beschleunigung des Deep Learning würden Durchbrüche in der KI wie ChatGPT viel länger dauern und kostspieliger sein. KI-Beschleuniger werden von einigen der weltweit größten Unternehmen verwendet, darunter Apple, Google, IBM, Intel und Microsoft.

Da Geschwindigkeit und Skalierbarkeit in der dynamischen KI-Technologiebranche von entscheidender Bedeutung sind, sind KI-Beschleuniger für Unternehmen unverzichtbar geworden, um Innovationen in großem Maßstab zu entwickeln und neue KI-Anwendungen schneller auf den Markt zu bringen. KI-Beschleuniger sind ihren älteren Pendants in drei entscheidenden Punkten überlegen: Geschwindigkeit, Effizienz und Design.

KI-Beschleuniger sind aufgrund ihrer deutlich geringeren Latenz, einem Maß für Verzögerungen in einem System, viel schneller als herkömmliche CPUs. Eine geringe Latenz ist besonders wichtig bei der Entwicklung von KI-Anwendungen in den Bereichen Medizin und autonome Fahrzeuge, wo Verzögerungen von Sekunden – sogar von Millisekunden – gefährlich sind.

KI-Beschleuniger können hundert- bis tausendmal effizienter sein als andere, eher standardmäßige Rechensysteme. Sowohl die großen KI-Beschleunigerchips, die in Rechenzentren verwendet werden, als auch die kleineren, die typischerweise in Edge-Geräten zum Einsatz kommen, verbrauchen weniger Strom und geben weniger Wärme ab als ihre Vorgänger.

KI-Beschleuniger verfügen über eine sogenannte heterogene Architektur, die es mehreren Prozessoren ermöglicht, separate Aufgaben zu unterstützen. Diese Fähigkeit erhöht die Rechenleistung auf das für KI-Anwendungen erforderliche Niveau. 

KI-Beschleuniger sind für die Anwendung der KI-Technologie von entscheidender Bedeutung. Die Branche steht jedoch vor Herausforderungen, die zeitnah gelöst werden müssen, da ansonsten Innovationen behindert werden.

Im Jahr 2023 wurden 50 % der weltweiten Halbleiter, einschließlich KI-Beschleunigern, auf der Insel Taiwan hergestellt. NVIDIA, das weltweit größte Unternehmen für KI-Hardware und -Software, hat sich in der Vergangenheit auf ein einziges Unternehmen, die Taiwan Semiconductor Manufacturing Corporation (TSMC), für seine KI-Beschleuniger verlassen; einige schätzen, dass TSMC etwa 90 % der weltweiten KI-Chips herstellt.

Aufgrund dieser Konzentration der Produktion an einem Ort kann jede Art von Unterbrechung der Lieferkette, sei es durch Naturkatastrophen, Cyberattacken oder geopolitische Unruhen, zu schwerwiegenden Engpässen und Engpässen führen. 

Die leistungsstärksten KI-Modelle von heute benötigen mehr Rechenleistung als viele KI-Beschleuniger bewältigen können, und das Innovationstempo im Chipdesign hält nicht mit der Innovation bei KI-Modellen Schritt.

Unternehmen erforschen Bereiche wie In-Memory-Computing und KI-Algorithmus-gestützte Leistung und Fertigung, um die Effizienz zu steigern, aber sie können mit dem Anstieg des Rechenbedarfs von KI-gestützten Anwendungen nicht Schritt halten.

KI-Beschleuniger sind klein, die meisten werden in Millimetern gemessen, und der größte der Welt ist nur etwa so groß wie ein iPad, was es schwierig macht, die für ihren Betrieb erforderliche Energiemenge gezielt auf einem so kleinen Raum bereitzustellen. Dies ist zunehmend schwieriger geworden, da die Rechenanforderungen durch KI-Workloads in den letzten Jahren gestiegen sind. Die Architekturen der Stromversorgungsnetze (Power Delivery Network, PDN) hinter den KI-Beschleunigern müssen bald weiterentwickelt werden, da sonst ihre Leistung beeinträchtigt wird.

Aufgrund ihres einzigartigen Designs und der speziellen Hardware steigern KI-Beschleuniger die KI-Verarbeitungsleistung im Vergleich zu ihren Vorgängern erheblich. Speziell entwickelte Funktionen ermöglichen die Lösung komplexer KI-Algorithmen mit Preisen, die weit über denen von Standardchips liegen.

KI-Beschleuniger bestehen in der Regel aus einem Halbleitermaterial wie Silizium und einem Transistor, der mit einem elektronischen Schaltkreis verbunden ist. Elektrische Ströme, die durch das Material fließen, werden ein- und ausgeschaltet, wodurch ein Signal erzeugt wird, das dann von einem digitalen Gerät gelesen wird. In fortgeschrittenen Beschleunigern werden die Signale milliardenfach pro Sekunde geschaltet, sodass die Schaltkreise komplexe Berechnungen mithilfe von Binärcode lösen können.

Einige KI-Beschleuniger sind für einen bestimmten Zweck konzipiert, während andere eine allgemeinere Funktionalität haben. Zum Beispiel sind NPUs KI-Beschleuniger, die speziell für Deep Learning entwickelt wurden, während GPUs KI-Beschleuniger sind, die speziell für die Video- und Bildverarbeitung entwickelt wurden.

KI-Beschleuniger sind in erster Linie für die Lösung fortgeschrittener Algorithmen zuständig und ihre Leistung ist für verschiedene KI-bezogene Vorgänge von entscheidender Bedeutung, wie z. B. maschinelles Lernen (ML), Deep Learning und Probleme mit Deep Neural Networks.

Sie können viele Algorithmen gleichzeitig lösen – schnell und präzise – dank der einzigartigen Art und Weise, wie sie Rechenressourcen bereitstellen, vor allem durch Parallelverarbeitung, ihre einzigartige Speicherarchitektur und eine Funktion, die als reduzierte Präzision bekannt ist.

Die fortschrittlichsten KI-Beschleuniger von heute sind darauf ausgerichtet, große, komplexe Probleme zu bewältigen, indem sie diese in kleinere Probleme aufteilen und diese gleichzeitig lösen, wodurch sich ihre Geschwindigkeit exponentiell erhöht.

Parallele Verarbeitung

Kein anderes Merkmal verbessert die Leistung des KI-Beschleunigers so sehr wie seine Fähigkeit, viele Rechenoperationen gleichzeitig auszuführen, eine Aufgabe, die als Parallelverarbeitung bekannt ist. Im Gegensatz zu anderen Chips können KI-Beschleuniger Aufgaben in Minuten, Sekunden oder sogar Millisekunden erledigen, für die zuvor Stunden oder sogar Tage benötigt wurden.

Diese Fähigkeit macht sie für KI-Technologien, die auf Echtzeit-Datenverarbeitung angewiesen sind, wie z. B. Edge Computing, unverzichtbar. Aufgrund der schieren Anzahl komplexer Algorithmen in ML- und Deep-Learning-Prozessen sind KI-Beschleuniger für die Weiterentwicklung sowohl der Technologie als auch ihrer Anwendungen von entscheidender Bedeutung.

Reduzierte Präzision beim KI-Training

Um Strom zu sparen, können KI-Beschleuniger eine Funktion verwenden, die als „Arithmetik mit reduzierter Präzision“ bekannt ist. Neuronale Netzwerke sind immer noch hochfunktional, wenn sie 16-Bit- oder sogar 8-Bit-Gleitkommazahlen verwenden, anstelle der 32 Bit, die von allgemeineren Chips verwendet werden. Das bedeutet, dass sie schnellere Verarbeitungsgeschwindigkeiten bei geringerem Energieverbrauch erzielen können, ohne an Genauigkeit einzubüßen.

Speicherhierarchie

Die Art und Weise, wie Daten in einem KI-Beschleuniger von einem Ort zum anderen verschoben werden, ist entscheidend für die Optimierung von KI-Workloads. KI-Beschleuniger verwenden andere Speicherarchitekturen als Allzweckchips, wodurch sie geringere Latenzen und einen besseren Durchsatz erzielen können. Diese speziellen Designmerkmale, zu denen On-Chip-Caches und ein Speicher mit hoher Bandbreite gehören, sind entscheidend für die Beschleunigung der Verarbeitung großer Datensätze, die für leistungsstarke KI-Workloads erforderlich sind.

KI-Beschleuniger werden je nach Funktion in zwei Architekturen unterteilt: KI-Beschleuniger für Rechenzentren und KI-Beschleuniger für Edge-Computing-Frameworks. KI-Beschleuniger für Rechenzentren erfordern eine hoch skalierbare Architektur und große Chips, wie z. B. die Wafer-Scale Engine (WSE), die von Cerebras für Deep-Learning-Systeme entwickelt wurde. Bei KI-Beschleunigern, die für Edge-Computing-Ökosysteme entwickelt wurden, liegt der Schwerpunkt eher auf Energieeffizienz und der Fähigkeit, Ergebnisse nahezu in Echtzeit bereitzustellen.

Integration im Wafer-Maßstab

Wafer-Scale-Integration (WSI) ist ein Verfahren zum Einbau extrem großer KI-Chip-Netzwerke in einen einzigen „Super“-Chip, um die Kosten zu senken und die Leistung von Deep-Learning-Modellen zu beschleunigen. Die beliebteste Wafer-Scale-Integration ist das WSE-3-Chip-Netzwerk, das von Cerebras hergestellt und im 5-nm-Verfahren von TSMC gebaut wird und derzeit der schnellste KI-Beschleuniger der Welt ist.

NPUs

NPUs oder neuronale Verarbeitungseinheiten sind KI-Beschleuniger für Deep Learning und neurale Netzwerke und die Datenverarbeitungsanforderungen, die für diese Workloads einzigartig sind. NPUs können große Datenmengen schneller verarbeiten als andere Chips. Sie können eine breite Palette von KI-Aufgaben im Zusammenhang mit maschinellem Lernen durchführen, wie z. B. Bilderkennung und die neuronalen Netze hinter beliebten KI- und ML-Anwendungen wie ChatGPT.

GPUs

Grafikprozessoren (GPUs) – elektronische Schaltkreise, die die Leistung von Computergrafiken und Bildverarbeitung verbessern – werden in einer Vielzahl von Geräten verwendet, darunter Grafikkarten, Hauptplatinen und Mobiltelefone. Aufgrund ihrer Fähigkeit zur parallelen Datenverarbeitung werden sie jedoch auch zunehmend beim Training von KI-Modellen eingesetzt. Eine gängige Methode besteht darin, viele GPUs mit einem einzigen KI-System zu verbinden, um die Rechenleistung dieses Systems zu erhöhen.

Field Programmable Gate Arrays (FPGAs)

FPGAs sind hochgradig anpassbare KI-Beschleuniger, die für einen bestimmten Zweck mit Spezialwissen neu programmiert werden müssen. Im Gegensatz zu anderen KI-Beschleunigern haben FPGAs ein einzigartiges Design, das auf eine bestimmte Funktion abgestimmt ist und oft mit der Verarbeitung von Daten in Echtzeit zu tun hat. FPGAs können auf Hardwareebene neu programmiert werden, was ein wesentlich höheres Maß an Anpassung ermöglicht. Zu den gängigen FPGA-Anwendungen gehören die Luft- und Raumfahrt, das Internet der Dinge (IoT) und drahtlose Netzwerke.

Anwendungsspezifische integrierte Schaltungen (ASICs)

ASICs sind KI-Beschleuniger, die für einen bestimmten Zweck oder eine bestimmte Workload entwickelt wurden, wie Deep Learning im Fall des WSE-3-ASIC-Beschleunigers von Cerebras. Im Gegensatz zu FPGAs können ASICs nicht umprogrammiert werden, aber da sie für einen einzigen Zweck konstruiert wurden, bieten sie in der Regel eine höhere Leistung als andere, allgemeinere Beschleuniger. Ein bekanntes Beispiel hierfür ist die Tensor Processing Unit (TPU) von Google, die speziell für das maschinelle Lernen mit neuronalen Netzen entwickelt wurde und die TensorFlow-Software von Google nutzt.

Von Smartphones und PCs bis hin zu modernster KI-Technologie wie Robotik und Satelliten: KI-Beschleuniger spielen eine entscheidende Rolle bei der Entwicklung neuer KI-Anwendungen. Hier sind einige Beispiele dafür, wie KI-Beschleuniger eingesetzt werden: