Was ist eine neuronale Prozessoreinheit (NPU)?

Im Unterschied zu Allzweck-Zentraleinheiten (CPUs) oder Grafikprozessoren (GPUs) sind NPUs darauf zugeschnitten, KI-Aufgaben und -Workloads zu beschleunigen, z. B. die Berechnung neuronaler Netzschichten, die aus Skalar-, Vektor- und Tensorberechnungen bestehen.

NPUs, auch als KI-Chip oder KI-Beschleuniger bekannt, werden in der Regel in heterogenen Computerarchitekturen verwendet, die mehrere Prozessoren (z. B. CPUs und GPUs) kombinieren. Große Rechenzentren können eigenständige NPUs verwenden, die direkt an die Hauptplatine eines Systems angeschlossen sind. Die meisten Verbraucheranwendungen, wie Smartphones, Mobilgeräte und Laptops, kombinieren die NPU jedoch mit anderen Coprozessoren auf einem einzigen Halbleiter-Mikrochip, dem sogenannten System-on-Chip (SoC).

Durch die Integration einer dedizierten NPU sind Hersteller in der Lage, generative KI-Apps auf dem Gerät anzubieten, die KI-Anwendungen, KI-Workloads und Algorithmen für maschinelles Lernen in Echtzeit mit relativ geringem Stromverbrauch und hohem Durchsatz verarbeiten können.     

Neuronale Prozessoreinheiten (NPUs) eignen sich gut für Aufgaben, die paralleles Computing mit geringer Latenz erfordern, wie z. B. die Verarbeitung von Deep-Learning-Algorithmen, Spracherkennung, Verarbeitung natürlicher Sprache, Foto- und Videoverarbeitung sowie Objekterkennung. 

Zu den wichtigsten Funktionen von NPUs gehören die folgenden:

• Parallele Verarbeitung: NPUs können größere Probleme in Komponenten zur Multitasking-Problemlösung zerlegen. Dies ermöglicht es dem Prozessor, mehrere neuronale Netzoperationen gleichzeitig auszuführen. 

• Arithmetik mit geringer Genauigkeit: NPUs unterstützen häufig 8-Bit-Operationen (oder niedriger), um die Rechenkomplexität zu reduzieren und die Energieeffizienz zu erhöhen. 

• Speicher mit hoher Bandbreite: Viele NPUs verfügen über einen On-Chip-Speicher mit hoher Bandbreite, um KI-Verarbeitungsaufgaben, die große Datensätze erfordern, effizient auszuführen.

• Hardware-Beschleunigung: Fortschritte im NPU-Design haben zur Integration von Hardware-Beschleunigungstechniken wie systolischen Array-Architekturen oder verbesserter Tensorverarbeitung geführt.  

Basierend auf den neuronalen Netzen des Gehirns simulieren neuronale Prozessoreinheiten (NPUs) das Verhalten menschlicher Neuronen und Synapsen auf der Schaltkreisebene. Dies ermöglicht die Verarbeitung von Deep-Learning-Befehlssätzen, bei denen eine Anweisung die Verarbeitung einer Reihe virtueller Neuronen abschließt.

Im Gegensatz zu herkömmlichen Prozessoren sind NPUs nicht für präzise Berechnungen konzipiert. Stattdessen werden NPUs speziell für Problemlösungsfunktionen entwickelt und können sich im Laufe der Zeit verbessern, indem sie aus verschiedenen Arten von Daten und Eingaben lernen. Durch die Nutzung des maschinellen Lernens können KI-Systeme mit NPUs schneller angepasste Lösungen bereitstellen, ohne dass mehr manuelle Programmierung erforderlich ist.

Als herausragende Funktion bieten NPUs eine hervorragende Parallelverarbeitung und sind in der Lage, KI-Operationen durch vereinfachte Hochleistungskerne zu beschleunigen, die nicht mehr mehrere Arten von Aufgaben ausführen müssen. Eine NPU enthält spezielle Module für Multiplikation und Addition, Aktivierung, 2D-Datenoperationen und Dekomprimierung. Das spezialisierte Multiplikations- und Additionsmodul wird verwendet, um Operationen durchzuführen, die für die Verarbeitung von Anwendungen relevant sind, wie z. B. die Berechnung von Matrixmultiplikation und -addition, Konvolution, Skalarprodukt und anderen Funktionen. 

Während herkömmliche Prozessoren Tausende von Anweisungen benötigen, um diese Art der Neuronenverarbeitung abzuschließen, kann eine NPU einen ähnlichen Vorgang mit nur einer einzigen abschließen. Eine NPU integriert außerdem Speicher und Berechnung über synaptische Gewichtungen, eine flexible Rechenvariable, die dem Netzwerkknoten zugewiesen wird und welche die Wahrscheinlichkeit eines „korrekten“ oder „gewünschten“ Ergebnisses angibt, das sich im Laufe der Zeit anpassen oder „lernen“ kann, was zu einer verbesserten betrieblichen Effizienz führt.

Während sich die NPU-Entwicklung ständig weiterentwickelt, haben Tests gezeigt, dass einige NPUs eine um mehr als das Hundertfache höhere Leistung als vergleichbare GPU bei gleichem Energieverbrauch aufweisen. 

Neuronale Prozessoreinheiten (NPUs) sind nicht dafür konzipiert und sollen auch nicht herkömmliche CPU und GPU ersetzen. Die Architektur einer NPU verbessert jedoch das Design beider Prozessoren, um unübertroffene und effizientere Parallelität und maschinelles Lernen zu bieten. NPU sind in der Lage, allgemeine Abläufe zu verbessern (aber am besten für bestimmte Arten von allgemeinen Aufgaben geeignet), und bieten in Kombination mit CPU und GPU mehrere wertvolle Vorteile gegenüber herkömmlichen Systemen. 

Zu den wichtigsten Vorteilen zählen:

• Parallele Verarbeitung: Wie bereits erwähnt, können NPUs größere Probleme in Komponenten zur Multitasking-Problemlösung zerlegen. Der entscheidende Punkt ist, dass GPUs zwar auch bei der Parallelverarbeitung hervorragend sind, die einzigartige Struktur einer NPU jedoch eine gleichwertige GPU bei reduziertem Energieverbrauch und geringerem physischen Speicherbedarf übertreffen kann. 

• Verbesserte Effizienz: Während GPUs häufig für Hochleistungsrechnen und KI-Aufgaben eingesetzt werden, können NPUs ähnliche Parallelverarbeitungen mit einer weitaus besseren Energieeffizienz durchführen. Da KI und andere Hochleistungsrechner immer häufiger eingesetzt werden und mehr Energie benötigen, bieten NPU eine wertvolle Lösung zur Reduzierung des kritischen, entscheidenden Energieverbrauchs.

• Echtzeit-Multimedia-Datenverarbeitung: NPU sind darauf ausgelegt, ein breiteres Spektrum an Eingabedaten, einschließlich Bildern, Videos und Sprache, besser zu verarbeiten und darauf zu reagieren. Die Erweiterung von Anwendungen wie Robotertechnik, Internet der Dinge (IoT)-Geräten und Wearables mit NPU kann Echtzeit-Feedback liefern, die operativen Reibungsverluste verringern und entscheidendes Feedback und Lösungen liefern, wenn die Reaktionszeit am wichtigsten ist. 

In der Welt der klassischen Informatik wird die Zentraleinheit (CPU) als das „Gehirn“ des Computers betrachtet. Die CPU verarbeitet die meisten herkömmlichen Rechenaufgaben und ist für eine breite Palette potenzieller Anwendungen verantwortlich. Obwohl es viele verschiedene Typen gibt, führen im Allgemeinen alle CPU die Abläufe in linearer Reihenfolge aus und reagieren auf Anfragen in der Reihenfolge, in der sie eingehen. 

Von den 1950er bis in die 1990er Jahre trugen CPU die Hauptlast praktisch der gesamten Computerverarbeitung, indem sie Anweisungen ausführten, um Programme auszuführen, Systeme zu steuern und die Eingabe/Ausgabe (E/A) zu verwalten.

Anspruchsvolle Anwendungen brachten regelmäßig Generationen von CPU-Designs an ihre Hardwaregrenzen, was oft zu einer erheblichen Verlangsamung oder sogar zu Systemausfällen führte. Doch mit dem Aufkommen von Computerspielen und computergestütztem Design (CAD) in den 1980er Jahren benötigte die Branche eine schnellere und effizientere Lösung für das Rendern von Computergrafiken. 

Die Grafikprozessoreinheit (GPU) wurde ursprünglich entwickelt, um rechenintensive Bildverarbeitungsaufgaben von der Haupt-CPU auszulagern. Während GPU tendenziell weniger Kerne für lineare Operationen nutzen, verfügen GPU über Hunderte bis Tausende von Kernen mit der Fähigkeit zur Parallelverarbeitung. Bei diesem Verfahren werden große Aufgaben in kleinere Probleme zerlegt, die von mehreren Prozessoren und/oder Kernen gleichzeitig gelöst werden können. 

Ursprünglich für die Video- und Bildverarbeitung entwickelt, haben die Parallelverarbeitungsfunktionen von GPU die Hardware in einzigartiger Weise für andere anspruchsvolle Rechenanwendungen geeignet gemacht, wie z. B. Blockchain-bezogene Aufgaben und KI. GPU sind zwar nicht der einzige Prozessortyp, der parallele Verarbeitung oder Parallelrechnen ausführen kann, aber sie eignen sich gut für Parallelität. Allerdings haben auch GPUs ihre Grenzen und haben typischerweise einen extrem hohen Energieverbrauch, um anspruchsvollere Operationen auszuführen. Bei GPU geht eine höhere Leistung mit höheren Energiekosten einher. 

NPU und andere KI-Beschleuniger bieten effizientere Alternativen. NPU, die speziell für KI-Operationen entwickelt wurden, integrieren und verbessern die fortschrittliche Parallelität von GPU und bieten hohe Leistung bei geringerem Stromverbrauch (und den zusätzlichen Vorteil eines geringeren physischen Platzbedarfs).

• Zentrale Recheneinheiten: Das „Gehirn“ des Computers. CPU verwenden in der Regel etwa 70 % ihrer internen Transistoren für den Aufbau von Cache-Speicher und sind Teil der Steuereinheit eines Computers. Sie enthalten relativ wenige Kerne, verwenden serielle Rechenarchitekturen zur linearen Problemlösung und sind für präzise logische Steuerungsoperationen ausgelegt. 

• Grafikprozessoreinheiten: GPU, die ursprünglich für die Bild- und Videoverarbeitung entwickelt wurden, enthalten viel mehr Kerne als CPU und verwenden die meisten ihrer Transistoren, um mehrere Recheneinheiten zu bauen, jede mit geringer Rechenkomplexität, was eine fortschrittliche parallele Verarbeitung ermöglicht. GPU sind für Workloads geeignet, die eine große Datenverarbeitung erfordern, und haben in Big Data, Backend-Serverzentren und Blockchain-Anwendungen großen Nutzen gefunden.

• Neuronale Prozessoreinheiten: Aufbauend auf der Parallelität von GPU verwenden NPU eine Computerarchitektur, die Neuronen des menschlichen Gehirns simuliert, um hocheffiziente Leistung zu erzielen. NPU verwenden synaptische Gewichtungen, um sowohl Speicher- als auch Berechnungsfunktionen zu integrieren, und bieten so gelegentlich weniger präzise Lösungen mit einer sehr geringen Latenz. Während CPU für präzise, lineare Berechnungen konzipiert sind, sind NPU für maschinelles Lernen ausgelegt, was zu verbessertem Multitasking, paralleler Verarbeitung und der Fähigkeit führt, Operationen im Laufe der Zeit anzupassen und zu individualisieren, ohne dass weitere Programmierung erforderlich ist. 

Als aufstrebende Technologie bieten viele führende Computer- und Hardwarehersteller, darunter Microsoft, Intel, Nvidia, Qualcomm und Samsung, entweder eigenständige neuronale Prozessoreinheiten (NPU) oder integrierte Varianten wie die Apple Neural Engine an.

Die Integration von NPU in Unterhaltungselektronik bietet eine Vielzahl von Vorteilen, wie z. B. eine verbesserte Bilderkennung und Optimierung für KI-fähige Kameras, um den Hintergrund bei Videoanrufen besser zu verwischen. Einige zusätzliche Anwendungen für NPUs sind die folgenden.

Als eine Art KI-Beschleuniger sind NPUs speziell darauf ausgelegt, die Leistung von KI- und ML-Systemen wie neuronalen Netzen zu verbessern. Als Ergänzung zu GPUs bietet die verbesserte Parallelität von NPUs dramatische Verbesserungen für große Sprachmodelle, die eine adaptive Verarbeitung mit geringer Latenz erfordern, um Multimediasignale zu interpretieren, Spracherkennung durchzuführen und die natürliche Sprache und Kunst zu erzeugen, die in Werkzeugen wie intelligenteren Chatbots und generativen KI- Bild- und Videoanwendungen verwendet werden.  

Mit ihren außergewöhnlichen Parallelverarbeitungs- und Selbstlernfunktionen eignen sich NPU gut für vernetzte IoT-Geräte wie Wearables, Sprachassistenten und intelligente Haushaltsgeräte. 

KI und maschinelles Lernen sind ein großer Segen für Rechenzentren, die ihre Ressourcen optimieren wollen. Leistungsstarke und energieeffiziente NPUs bieten einen enormen Mehrwert für Rechenzentren, die ein besseres Ressourcenmanagement für Cloud Computing bieten. 

Autonome Fahrzeuge wie Drohnen oder selbstfahrende Autos und Lkw profitieren stark von den Echtzeitverarbeitungsfunktionen von NPU, die eine schnellere und bessere Kurskorrektur auf Basis von Multimedia-Sensoreingaben ermöglichen. Mit unübertroffener paralleler Verarbeitung können NPU autonomen Fahrzeugen helfen, sich schnell entwickelnde Eingaben wie Verkehrsschilder, Verkehrsmuster und sogar unerwartete Hindernisse zu interpretieren und zu verarbeiten.

Während Cloud Computing fortschrittliche externe Daten- und Ressourcenlösungen für IoT, intelligente Geräte und andere persönliche Computergeräte bietet, zielen Edge Computing und Edge AI darauf ab, kritische, entscheidende Daten- und Rechenressourcen physisch näher an die Benutzer zu bringen. Dies reduziert die Latenz, senkt den Energieverbrauch und stärkt die Privatsphäre. Da NPU weniger Energie benötigen und einen kleineren Speicherbedarf haben, werden sie zu einer wertvollen Komponente im Bereich Edge Computing und On-Device KI. 

NPUs sind geschickt in der Bewältigung von Aufgaben, die maschinelles Lernen und Computer Vision erfordern, und bieten eine wichtige Unterstützung für die Entwicklung der Robotertechnikbranche. KI-gestützte Robotertechnik, von Heimassistenten bis hin zu automatisierten chirurgischen Werkzeugen, sind auf NPUs angewiesen, um die Fähigkeit zu entwickeln, ihre Umgebungen zu erkennen, von ihnen zu lernen und auf sie zu reagieren.