Python ist eine in der Datenwissenschaft weit verbreitete Universalprogrammiersprache, die sich für Data Scientists, die ihre Arbeit auf die aktive Modellierung von Deep-Learning-Netzwerken ausweiten wollen, intuitiv anbietet. Die einfache Syntax von Python ist leicht zu lesen, man braucht relativ wenig Zeit, um sie zu erlernen, und sie kann auf jedem Betriebssystem laufen, einschließlich Windows, macOS, Linux oder Unix. Python ist seit über drei Jahren die am zweithäufigsten verwendete Programmiersprache auf GitHub und hat 2019 Java überholt. Die Popularität nimmt weiter zu, mit einem Anstieg von 22,5 Prozent im Jahr 2022.¹

Diese Flexibilität und Einfachheit hat mit zur Bildung einer stabilen Online-Community aus Python-Entwicklern geführt. Gemeinsam arbeiten sie an vielen Python-Bibliotheken und -APIs, beispielsweise Numerical Python (NumPy) für mathematische Operationen, Pandas zur Datenmanipulation oder matplotlib zur Datenvisualisierung sowie an Bildungsressourcen. Die Community hat auch eine Vielzahl von PyTorch-Bibliotheken erstellt, die das Programmieren von maschinellem Lernen weniger monoton und spekulativ machen. So können sich Entwickler und Data Scientists auf Innovationen statt das Schreiben von Routineaufgaben konzentrieren.

Algorithmen des maschinellen Lernens, auch die für vermeintlich nicht numerische Informationen wie Töne oder Bilder, benötigen Daten in numerischer Darstellung. PyTorch verwendet hierfür Tensoren als Grundeinheit der Berechnungsdaten auf der Plattform.

Im Kontext des maschinellen Lernens ist ein Tensor eine mehrdimensionale Anordnung von Zahlen, die wie eine mathematische Buchführung funktioniert. Linguistisch gesehen fungiert „Tensor“ als Oberbegriff, der einige bekanntere mathematische Einheiten umfasst:

• Ein Skalar ist ein nulldimensionaler Tensor, der eine einzelne Zahl enthält.
• Ein Vektor ist ein eindimensionaler Sensor, der mehrere Skalare desselben Typs enthält. Ein Tupel ist ein eindimensionaler Sensor, der verschiedene Datentypen enthält.
• Eine Matrix ist ein zweidimensionaler Sensor, der mehrere Vektoren desselben Typs enthält.
• Tensoren mit drei oder mehr Dimensionen, wie die dreidimensionalen Tensoren, die zur Darstellung von RGB-Bildern in Computer Vision-Algorithmen verwendet werden, werden kollektiv als N-dimensionale Tensoren bezeichnet.

PyTorch-Tensoren funktionieren ähnlich wie die ndarrays in NumPy, die jedoch nur auf CPUs ausgeführt werden können. Tensoren hingegen sind auch auf Grafikprozessoren ausführbar. GPUs ermöglichen wesentlich schnellere Berechnungen als CPUs – ein großer Vorteil angesichts der riesigen Datenmengen und der für Deep Learning typischen parallelen Verarbeitung.

PyTorch-Tensoren kodieren die Ein- und Ausgaben eines Modells und seine Parameter: Gewichtungen, Verzerrungen und Gradienten, die beim maschinellen Lernen „erlernt“ werden. Diese Eigenschaft von Tensoren ermöglicht die automatische Differenzierung, eines der wichtigsten Merkmale von PyTorch.

Als Bausteine für Deep-Learning-Modelle verwendet PyTorch Module, mit denen neuronale Netze schnell und unkompliziert erstellt werden, ohne jeden Algorithmus mühsam von Hand zu programmieren.

 Module können – und tun dies häufig auch – andere verschachtelte Module enthalten. Dies ermöglicht nicht nur die Erstellung komplexer mehrschichtiger neuronaler Netze, sondern auch die einfache Speicherung dieser komplexen Deep-Learning-Modelle als ein einziges benanntes Modul und die Übertragung zwischen verschiedenen Maschinen, CPUs oder GPUs. PyTorch-Modelle können mit Torchscript (Link befindet sich außerhalb von ibm.com) sogar in Nicht-Python-Umgebungen wie C++ ausgeführt werden, um die Lücke zwischen Forschungsprototypen und Produktionseinsatz zu schließen.

Vereinfacht gesagt, gibt es drei Hauptklassen von Modulen zur Erstellung und Optimierung von Deep-Learning-Modellen in PyTorch:

• nn-Module werden als Layer eines neuronalen Netzwerks bereitgestellt. Das Paket torch.nn enthält eine große Bibliothek von Modulen, die allgemeine Operationen wie Convolutions, Pooling und Regression ausführen. Torch.nn.Linear (n, m) ruft beispielsweise einen linearen Regressionsalgorithmus mit n Eingaben und m Ausgängen auf (deren anfängliche Eingaben und Parameter dann in nachfolgenden Codezeilen festgelegt werden).

• Das Modul Autograd bietet eine einfache Möglichkeit zur automatischen Berechnung von Gradienten, die zur Optimierung von Modellparametern mittels Gradientenabstieg verwendet werden, für jede Funktion, die in einem neuronalen Netz betrieben wird. Das Anhängen eines beliebigen Tensors mit requires_grad=TRUE signalisiert dem Autograd, dass jede Operation an diesem Tensor verfolgt werden sollte, was eine automatische Differenzierung ermöglicht.

• Optim-Module wenden Optimierungsalgorithmen auf diese Gradienten an. Torch.optim bietet Module für verschiedene Optimierungsmethoden, wie stochastischer Gradientenabstieg (SGD) oder quadratische Mittelwertausbreitung (RMSprop), um spezifischen Optimierungsanforderungen gerecht zu werden.

Deep-Learning-Modelle werden in PyTorch als dynamische Berechnunggraphen (Dynamic Computational Graph, DCG) dargestellt. Ein Berechnungsgraph bildet den Datenfluss zwischen den verschiedenen Operationen in einem mathematischen System ab. Beim Deep Learning übersetzen sie also quasi den Code eines neuronalen Netzes in ein Flussdiagramm, das die an jedem Knoten durchgeführten Operationen und die Abhängigkeiten zwischen den verschiedenen Netzebenen anzeigt – die Schritte und Abfolgen, aus denen Eingabe- zu Ausgabedaten werden.

Dynamische Berechnungsgraphen (wie die in PyTorch) und statische (wie in TensorFlow) unterscheiden sich dahingehend, dass DCGs die Berechnungen und die Beziehungen zwischen ihnen erst zur Laufzeit spezifizieren. Bei einem statischen Berechnungsgraphen muss also die Architektur des gesamten neuronalen Netzes vollständig festgelegt und kompiliert sein, bevor es ausgeführt werden kann. DCGs hingegen können iteriert und im laufenden Betrieb geändert werden.

Dies macht DCGs besonders nützlich für Debugging und Prototyping, da bestimmte Teile des Modellcodes geändert oder isoliert ausgeführt werden können, ohne dass das gesamte Modell zurückgesetzt werden muss – was bei den sehr großen Deep Learning-Modellen, die für anspruchsvolle Computer Vision- und NLP-Aufgaben verwendet werden, eine Verschwendung von Zeit und Rechenressourcen darstellen kann. Die Vorteile dieser Flexibilität erstrecken sich auch auf die Modellschulung, da dynamische Berechnungsgraphen während der Backpropagation leicht in umgekehrter Richtung erzeugt werden können.

Während ihre feste Struktur eine höhere Recheneffizienz ermöglichen kann, verfügen statische Rechendiagramme über eine begrenzte Flexibilität: Beispielsweise können sie ein Modell erstellen, das abhängig von den Eingabedaten eine unterschiedliche Anzahl von Schichten verwendet – wie ein Convolutional Neural Network (CNN), das Bilder unterschiedlicher Größen verarbeiten kann – ist bei statischen Diagrammen sehr schwierig.

Eine weit verbreitete Methode zum Training neuronaler Netze, insbesondere beim überwachten Lernen, ist die Backpropagation. Zunächst erhält ein Modell in einem Vorwärtsdurchlauf einige Eingaben (x) und prognostiziert einige Ausgaben (y); ausgehend von dieser Ausgabe wird eine Verlustfunktion verwendet, um den Fehler der Vorhersagen des Modells bei verschiedenen Werten von x zu messen. Durch Differenzieren dieser Verlustfunktion, um ihre Ableitung zu finden, kann der Gradientenabstieg verwendet werden, um die Gewichte im neuronalen Netz Schicht für Schicht anzupassen.

Das autograd-Modul von PyTorch zur automatischen Differenzierung verwendet eine Formel aus der Analysis, die so genannte Kettenregel. Hierbei werden komplexe Ableitungen in einfachere Ableitungen aufgeteilt und später wieder zusammengesetzt. autograd berechnet und speichert Gradienten für alle Operationen in einem Berechnungsgraphen automatisch, was die Backpropagation viel weniger aufwändig macht.

Bei der Ausführung eines bereits trainierten Modells verbraucht autograd unnötig Rechenressourcen. requires_grad=False an eine Tensor-Operation anzuhängen, signalisiert PyTorch, keine Gradienten mehr nachzuverfolgen.

Die Arbeit mit den großen, zum Trainieren von Deep-Learning-Modellen notwendigen Datensätzen kann aufwändig und rechenintensiv sein. PyTorch besitzt zwei Datenprimitive, Datensätze und Datenlader, um das Laden von Daten zu vereinfachen und den Code leichter lesbar zu machen.

• torch.utils.data.Dataset speichert Datenproben und deren entsprechende Beschriftungen
• torch.utils.data.Dataloader umschließt den Datensatz – ein Objekt, mit dem gearbeitet werden kann – um den Datensatz zu umschließen, um einen einfachen Zugriff auf Stichproben zu ermöglichen