NPU vs. GPU: Was ist der Unterschied?

Grafikprozessoren enthalten Tausende von Kernen, um die schnellen, präzisen Rechenaufgaben zu bewältigen, die für die Grafikwiedergabe und Spiele erforderlich sind. NPU priorisieren Datenfluss und Speicherhierarchie, um KI-Workloads besser in Echtzeit verarbeiten zu können.

Beide Arten von Mikroprozessoren eignen sich hervorragend für die in der KI verwendeten parallelen Verarbeitungsprozesse, aber NPU sind speziell für maschinelles Lernen (ML) und Aufgaben der künstlichen Intelligenz konzipiert. 

Neuronale Prozessoreinheiten (NPUs) erleben gerade einen Boom, aber warum stiehlt diese fast ein Jahrzehnt alte Technologie plötzlich die Show? Die Antwort hat mit den jüngsten Fortschritten im Bereich der generativen KI (künstliche Intelligenz) zu tun, die das öffentliche Interesse an KI-Anwendungen und damit auch an KI-Beschleuniger-Chips wie NPU und GPU wiederbelebt. 

Die NPU-Architektur unterscheidet sich deutlich von der der CPU oder GPU. CPU sind für die sequentielle Ausführung von Anweisungen ausgelegt und verfügen über weniger Prozessorkerne als GPU, die wesentlich mehr Kerne haben und für anspruchsvolle Operationen konzipiert sind, welche ein hohes Maß an paralleler Verarbeitung erfordern. 

Während CPU mit parallelen Verarbeitungsaufgaben zu kämpfen haben und GPU durch einen hohen Energieverbrauch hervorstechen, profitiert die NPU-Architektur von der Art und Weise, wie menschliche Gehirne Daten verarbeiten. NPU fügen nicht nur zusätzliche Kerne hinzu, sondern erreichen durch eine Reihe einzigartiger Funktionen und Techniken eine hohe Parallelität bei geringerem Energieverbrauch:

• Spezialisierte Recheneinheiten: NPU integrieren dedizierte Hardware für Multiplikations- und Akkumulationsoperationen, die unverzichtbar für das Training und die Inferenz von neuronalen Netzen sind.

• Schneller On-Chip-Speicher: Um die Engpässe im Zusammenhang mit dem Speicherzugriff zu minimieren, verfügen NPU über einen Hochgeschwindigkeitsspeicher, der einen schnellen Zugriff auf Modelldaten und Gewichtungen ermöglicht.

• Parallele Architektur: NPU sind so konzipiert, dass sie Tausende von parallelen Operationen ausführen können, was sie bei der Verarbeitung von Daten-Batches äußerst effizient macht.

Beim Vergleich von NPU und GPU kann es sinnvoll sein, die Leistung anhand der Hauptmerkmale zu bewerten.

• GPU sind so konzipiert, dass sie anspruchsvolle Bildverarbeitungsaufgaben in kleinere Vorgänge unterteilen, die parallel verarbeitet werden können.   

• NPU sind so konzipiert, dass sie das menschliche Gehirn mit Modulen nachahmen, um die Multiplikation und Addition zu beschleunigen und gleichzeitig den On-Chip-Speicher zu verbessern.

• GPU bieten ausgezeichnete parallele Rechenfunktionen, allerdings zu Lasten eines hohen Energieverbrauchs. 

• NPU bieten die gleiche (oder sogar eine bessere) Parallelität, insbesondere wenn es um kurze, sich wiederholende Berechnungen geht. NPU sind so konzipiert, dass sie die in neuronalen Netzen verwendeten KI-Algorithmen verarbeiten können und eignen sich daher besonders gut für die Verarbeitung großer Datensätze, die Matrixmultiplikationen erfordern.

• GPU sind zwar spezialisierter als CPU, eignen sich aber besser für allgemeine Datenverarbeitungszwecke.

• NPU sind spezialisierte Prozessoren, die speziell für KI- und maschinelle Lernaufgaben entwickelt wurden. Sie enthalten einige der überschüssigen Funktionen, die von GPU zur Optimierung der Energieeffizienz verwendet werden.

• GPUs profitieren als Vorgänger von NPUs von einer weiter entwickelten Umgebung und sind auf dem Verbrauchermarkt weit verbreitet. Die CUDA-Sprache von Nvidia, die Profis und Hobbyanwendern zur Verfügung steht, ermöglicht eine einfache GPU-Programmierung mit Open-Source-Kompilierung für verschiedene Betriebssysteme. 

• NPUs sind neuer als GPUs und im Allgemeinen weniger zugänglich. Viele proprietäre NPUs, wie z. B. die Tensor Processing Unit (TPU) von Google oder Snapdragon von Qualcomm (von Apple verwendet), sind möglicherweise nicht auf dem breiteren Markt verfügbar. NPU-Chips von Herstellern wie Intel oder AMD verfügen über vergleichsweise weniger Community-Ressourcen.

• GPUs werden häufig in Spielen und Computeranimationen eingesetzt, wo Grafikkarten für die Optimierung der Bildverarbeitung verantwortlich sind. Sie sind auch in anderen Anwendungen effektiv, die ein hohes Maß an Parallelität erfordern, wie beispielsweise in Rechenzentren, beim Krypto-Mining oder beim Training von KI-Modellen.

• NPUs werden in einem gezielteren Bereich eingesetzt und bieten außergewöhnliche Parallelität bei geringerem Stromverbrauch. Typischerweise in Kombination mit GPUs lagern NPUs die anspruchsvolleren KI-Aufgaben aus und eignen sich am besten für maschinelles Lernen, wie z. B. die Verarbeitung von KI-Workloads in großen Sprachmodellen (LLM), Deep Learning-Bilderkennung oder Blockchain und KI. 

Die Einbindung von NPUs in integrierte Systeme bietet in Bezug auf Geschwindigkeit, Effizienz und Komfort eine Reihe entscheidender Vorteile gegenüber herkömmlichen Prozessoren. Zu den Vorteilen zählen:

• Lokalisierung: Die Verarbeitung von KI-Anwendungen erfordert erhebliche Rechenressourcen und wird aus diesem Grund häufig in die Cloud verlegt. Die Nutzung eines entfernten Servers kann jedoch den Betrieb verlangsamen und sensible Informationen der Gefahr von Datenlecks aussetzen. NPUs ermöglichen die lokalisierte Verarbeitung von KI-Aufgaben in Echtzeit und verringern die Latenzzeit für kritische Anwendungen wie Sprach- oder Gesichtserkennung, medizinische Diagnostik und automatisierte Fahrsysteme. 

• Ressourcenmanagement: Häufig integrierte NPUs können helfen, die Gesamtsystemressourcen zu optimieren, indem sie die sich wiederholenden Aufgaben übernehmen, die für KI-Anwendungen erforderlich sind. Durch die Auslagerung dieser Art von Aufgaben an eine NPU werden GPU-Ressourcen freigesetzt, um große Datenmengen für allgemeinere Berechnungen zu verarbeiten.

• Effizienz: Während GPUs in der Lage sind, viele anspruchsvolle Aufgaben im Zusammenhang mit KI zu bewältigen, sind NPUs speziell für diese Anforderungen entwickelt worden und können ähnliche oder sogar bessere Leistungs-Benchmarks erfüllen, während sie exponentiell weniger Energie benötigen, eine besonders wertvolle Leistung für batteriebetriebene Geräte mit begrenzter Kapazität. 

Als Coprozessor sind NPUs seit einigen Jahren im Einsatz und werden in der Regel in GPUs integriert, um Unterstützung für bestimmte sich wiederholende Aufgaben zu bieten. NPUs sind weiterhin wertvoll in der Verbrauchertechnologie (wie AI Copilot von Microsoft Windows) und in verschiedenen Internet der Dinge (IoT)-Geräten (wie intelligenten Lautsprechern, die NPUs zur Verarbeitung der Spracherkennung verwenden). 

Die jüngsten Entwicklungen in der KI-Technologie haben diesen Prozessortyp jedoch stärker ins Rampenlicht gerückt, da fortschrittlichere KI-Modelle KI-Tools für Verbraucher in den Fokus der Öffentlichkeit gerückt haben. Das System wurde speziell für anspruchsvolle KI-Aufgaben wie die Verarbeitung natürlicher Sprache entwickelt, da das Interesse an KI für Verbraucher deutlich zunimmt und damit auch das Interesse an NPUs. 

Zu den wichtigsten Anwendungsfällen für NPUs gehören die folgenden:

• Künstliche Intelligenz und große Sprachmodelle: NPUs wurden speziell dafür entwickelt, die Leistung von KI- und ML-Systemen zu verbessern, wie z. B. große Sprachmodelle (Large Language Models, LLMs), die eine adaptive Verarbeitung mit geringer Latenz erfordern, um Multimedia-Signale zu interpretieren, eine Spracherkennung durchzuführen und natürliche Antworten zu erzeugen. NPUs sind auch mit KI-gestützten Videoverarbeitungsaufgaben vertraut, z. B. mit dem Unkenntlichmachen des Hintergrunds bei Videoanrufen oder der automatischen Bearbeitung von Bildern.   

• Geräte des Internet der Dinge (IoT): Unauffällige und energieeffiziente NPUs sind ein leistungsstarker Coprozessor für kleine intelligente Geräte einschließlich Smartphones, Mobilgeräte und Wearables, bei denen die Akkuleistung im Vordergrund steht und Effizienz priorisiert wird.

• Rechenzentren: Rechenzentren sind für die Verarbeitung anspruchsvoller Workloads bekannt und profitieren von der effizienten Ressourcenoptimierung durch NPUs. 

• Autonome Fahrzeuge und Robotertechnik: Von selbstfahrenden Autos bis hin zu autonomen Luftfahrzeugen (Drohnen) bieten NPUs durch erstklassige Parallelität und verbesserte Signalverarbeitungsgeschwindigkeiten einen Mehrwert für autonome Pilotsysteme. NPUs mit geringer Latenz sind eine ausgezeichnete Wahl für Anwendungen, die Computer Vision erfordern, und sie helfen autonomen Fahrzeugen, in Echtzeit auf plötzliche Verkehrs- und Umgebungsbedingungen zu reagieren. KI-gestützte Robotertechnik, von Heimassistenten bis hin zu automatisierten chirurgischen Werkzeugen, verlassen sich auf NPUs, um die Fähigkeit zu entwickeln, ihre Umgebungen zu erkennen, von ihnen zu lernen und auf sie zu reagieren. 

• Edge Computing und Edge KI: Edge Computing und Edge KI zielen darauf ab, kritische Daten- und Rechenressourcen physisch näher an die Benutzer zu bringen. Dies reduziert die Latenz, senkt den Energieverbrauch und stärkt die Privatsphäre. Da NPUs weniger Energie benötigen und einen kleineren Speicherbedarf haben, werden sie zu einer wertvollen Komponente im Bereich Edge Computing und On-Device-KI. 

GPUs wurden schon lange vor den NPUs für Rechenaufgaben bevorzugt, die eine leistungsintensive Parallelverarbeitung erforderten. Ursprünglich für die Verarbeitung komplexer Grafiken in Videospielen und Bild-/Videosoftware entwickelt, werden GPUs weiterhin in PC- und Konsolenspielen sowie in der Virtual und Augmented Reality, im High-Performance Computing (HPC), beim 3D-Rendering, in Rechenzentren und anderen Anwendungen eingesetzt. 

Nachfolgend erhalten Sie einen genaueren Einblick in einige der wichtigsten modernen Anwendungen der GPU-Technologie:

• Künstliche Intelligenz (KI), maschinelles Lernen (ML) und Deep Learning (DL): Obwohl GPUs nicht speziell für KI-, ML- oder DL-Aufgaben entwickelt wurden, unterstützen sie viele führende KI-Anwendungen, wie z. B. den cloud-nativen KI-Supercomputer Vela von IBM, die Hochgeschwindigkeitsparallelität erfordern, um große Datensätze für das Training zu verarbeiten. Durch parallele Verarbeitung können GPUs den Entscheidungsfindungsprozess des menschlichen Gehirns simulieren, der in ML und DL verwendet wird. 

• Cloud Computing: In den letzten Jahren hat sich Cloud Computing zu einem wichtigen Bestandteil der IT-Infrastruktur in allen wichtigen Branchen entwickelt. Die Möglichkeit, wichtige Rechenaufgaben auf leistungsstarke, extern gespeicherte Server zu verlagern, erfordert immense Datenverarbeitungskapazitäten. GPUs ermöglichen eine Cloud-Computing-Infrastruktur, indem sie Big-Data-Analysen und Datenbankabfragen durch paralleles Computing beschleunigen. 

• Visualisierung und Simulation: GPUs wurden speziell für die Verarbeitung von Grafiken entwickelt und bieten in allen Branchen einen enormen Mehrwert für Aufgaben, die komplexe Visualisierungen oder Simulationen erfordern, z. B. Produktvisualisierungen, technische CAD-Zeichnungen, medizinische Bildgebung sowie seismische und geophysikalische Modellierung. In anderen Ländern verwenden Klimawissenschaftler Simulationen, die von GPUs betrieben werden, um die Wetterbedingungen vorherzusagen, während theoretische Physiker sie verwenden, um das Verhalten von Partikeln auf dem Quantenlevel zu modellieren.  

• Blockchain: Blockchain-Technologien hängen stark von GPU-Technologie ab, insbesondere wenn es um den „Ausführungsnachweis“ (Proof of Work) geht. In vielen weit verbreiteten Blockchain-Anwendungen, wie z. B. der Kryptowährung Bitcoin, werden Proof-of-Work-Berechnungen durchgeführt, um zu bestätigen, dass alle Aktualisierungen des Hauptbuchs korrekt sind. Diese Berechnung ist sehr anspruchsvoll, da sie sich auf die gesamte Blockchain auswirkt und ohne moderne GPUs nicht möglich wäre.

• Gaming und das Metaverse: Mit dem Wachstum der Gaming-Branche ist auch die Nachfrage nach besserer Grafik, größeren MMO-Spielen (Massively Multiplayer Online) und rechenintensivem Rendering, wie es Virtual- und Augmented-Reality-Spiele ermöglicht, gestiegen. Spieleentwickler und Computerhersteller verlassen sich auf GPUs, um modernste Gaming-Funktionen wie hohe Bildwiederholungsraten und das fortschrittliche Raytracing zum Rendering hyperrealistischer Umgebungen voranzutreiben. 

• Videoverarbeitung und Erstellung von Inhalten: Seit ihrer Einführung haben GPUs die frustrierenden Rendering-Zeiten für beliebte Videobearbeitungsprodukte wie Final Cut Pro und Adobe Premiere stetig reduziert. Heute beschleunigen GPUs, die mit integrierten NPUs ausgestattet sind, die Erstellung und Bearbeitung von Videos für alles, von den professionellen Bearbeitungssuiten großer Hollywood-Studios bis hin zu Smartphone-Apps, die von YouTubern und TikTokern verwendet werden.

NPUs werden am besten in integrierten Systemen verwendet, die Abläufe optimieren, um bestimmte Arten von Ressourcen bestimmten Arten von Prozessoren zuzuweisen. CPUs wurden für präzises, lineares Computing entwickelt und lassen sich am besten für allgemeine Prozesse wie System- und Ressourcenverwaltung einsetzen, während GPUs auf Workloads spezialisiert sind, die von parallelem Computing einen Vorteil haben.

Da sich Anwendungen der künstlichen Intelligenz immer mehr durchsetzen, lassen sich noch spezialisiertere NPUs am besten als Ergänzung zu CPUs und GPUs einsetzen, um KI- und ML-spezifische Aufgaben mit geringer Latenz und hoch energieeffizienter Parallelverarbeitung zu erledigen.