Von der Thermodynamik inspirierte Deep-Learning-Modelle

Von der Physik inspirierte Diffusionsmodelle wurden erstmals von Sohl-Dickstein et al. in ihrem 2015 erschienenen Artikel „Deep Unsupervised Learning using Nonequilibrium Thermodynamics“ vorgestellt. Ihr Algorithmus wandte die Langevin-Dynamik (Link befindet sich außerhalb von ibm.com), eine Methode zur Modellierung der Bewegung molekularer Systeme, an, um die Grundvoraussetzung von Diffusionsmodellen zu untermauern: Daten in Rauschen umwandeln, damit man dann Rauschen in Daten umwandeln kann.

Ein Hinweis zu Wahrscheinlichkeitsdichtefunktionen
Wie die meisten generativen Modelle, wie z. B. Variational Autoencoders (VAEs), modellierte der Sohl-Dickstein-Algorithmus die Wahrscheinlichkeitsdichte: die relative Wahrscheinlichkeit, dass eine zufällig ausgewählte Variable, x, in einen bestimmten Wertebereich fällt. Im Wesentlichen ermöglicht die Modellierung einer Wahrscheinlichkeitsdichtefunktion für einen Trainingsdatensatz einem Algorithmus, dann Stichproben zu generieren, die mit hoher Wahrscheinlichkeit zur Trainingsdatenverteilung passen. Bei der Erzeugung eines neuen Bildes geht das Modell von einer hohen Wahrscheinlichkeit aus, dass die Pixelwerte auf diese spezifische Weise verteilt werden, basierend auf der Wahrscheinlichkeitsverteilung, die es aus Mustern in Trainingsdaten gelernt hat.

Logischerweise erfordern Wahrscheinlichkeitsdichtefunktionen, dass die Wahrscheinlichkeit aller Möglichkeiten 1 ergibt. Anders ausgedrückt: Die prozentuale Wahrscheinlichkeit aller Möglichkeiten muss genau 100 % ergeben. In der Praxis erfordert dies oft eine normalisierende Konstante: einen Wert, der in eine Wahrscheinlichkeitsfunktion integriert wird und die Gesamtwahrscheinlichkeit auf 1 reduziert.

Die Berechnung einer Normierungskonstante, die für alle möglichen Variablenwerte funktioniert, ist oft schwierig: technisch lösbar, aber mit unendlichem Rechenaufwand verbunden. In solchen Fällen müssen wahrscheinlichkeitsbasierte Modelle entweder auf bestimmte Modellarchitekturen beschränkt werden oder es müssen clevere Umgehungslösungen entwickelt werden, die die Normalisierungskonstante auf nachvollziehbare Weise approximieren.

Score-basierte generative Modelle
 

Unabhängig von Sohl-Dicksteins Arbeit entwickelten Yang Song und Stefano Ermon in ihrem 2019 erschienenen Artikel „Generative Modeling by Estimating Gradients of the Data Distribution“ eine Art energiebasiertes Modell (Link befindet sich außerhalb von ibm.com), das sie als „Noise Conditional Score Network” bezeichneten. Ihr Algorithmus modellierte den Gradienten (∇_x) des Logarithmus ($log$) der Wahrscheinlichkeitsdichtefunktion $p\left(X\right)$. Der Gradient der Log-Wahrscheinlichkeitsdichtefunktion, geschrieben als ${\nabla }_X\mathrm{Protokoll}p\left(X\right)$wird als Stein-Score oder einfach als „Score-Funktion“ bezeichnet.

Im Gegensatz zu herkömmlichen Wahrscheinlichkeitsdichtefunktionen benötigen Score-Funktionen keine Normierungskonstante, da sie die Wahrscheinlichkeitsdichte nicht direkt modellieren (und daher die Gesamtwahrscheinlichkeit nicht auf 1 normalisieren müssen). Stattdessen werden sie durch Score Matching trainiert: Lernmodellparameter, θ, die ein Modell p_θ(x) ergeben, dessen Score – mit anderen Worten, dessen Gradient – mit dem der Datenverteilung q(x) der Trainingsdaten übereinstimmt.

Ein weiterer Vorteil solcher Score-basierter generativer Modelle (SGMs) besteht darin, dass sie im Gegensatz zu wahrscheinlichkeitsbasierten Modellen keine großen Einschränkungen für die Modellarchitektur von p_θ(x) mit sich bringen.

Song und Ermon suchten nach Möglichkeiten, die Leistung ihres Modells zu verbessern, und stießen zufällig auf dieselben Techniken, die auch von Sohl-Dickstein et al. verwendet wurden.In ihrem Artikel stellten sie fest, dass „die Verfälschung von Daten mit zufälligem Gaußschem Rauschen die Datenverteilung für eine punktbasierte generative Modellierung zugänglicher macht“. Ihr Modell, das auf der U-Net-Architektur basiert, die ursprünglich für die Bildsegmentierung entwickelt wurde, wandte ebenfalls die Langevin-Dynamik an, um Proben zu generieren.

Denoising Diffusion Probabilistic Models (DDPMs)

2020 schlugen Ho et al. in ihrem bahnbrechenden Artikel „Denoising diffusion probabilistic models“ (DDPMs) vor, Sohl-Dicksteins Ansatz zu verwenden, um mithilfe der Variationsinferenz qualitativ hochwertige Bilder zu erzeugen. In ihrer Arbeit zeigten sie, dass die Maximierung der Evidenzuntergrenze (ELBO) – eine Möglichkeit, wahrscheinlichkeitsbasierte Optimierungsprobleme so umzuschreiben, dass sie handhabbar sind – zum Trainieren von Diffusionsmodellen im Wesentlichen der Kombination von Score-Matching-Zielen entspricht, die zum Trainieren von SGMs verwendet werden.

Durch die Implementierung des Ansatzes von Sohl-Dickstein unter Verwendung von Score Matching zeigten Ho et al., dass Diffusions-Probabilistik-Modelle eine Bildqualität erreichen können, die mit GANs konkurrieren kann, die zu dieser Zeit auf dem neuesten Stand der Technik waren. Diese Zusammenhänge wurden von Song, Ermon, Sohl-Dickstein und anderen (darunter Diederik P. Kingma, dem Erfinder der VAE) in ihrem 2021 erschienenen Artikel „Score-Based Generative Modeling through Stochastic Differential Equations“ weiter untersucht.

Später im selben Jahr veröffentlichten Dhariwal und Nichol unter Nutzung der Erkenntnisse aus dem zuvor erwähnten Artikel „Diffusion Models Beat GANs on Image Synthesis“ und etablierten damit Diffusionsmodelle als neuen Stand der Technik.

DDPMs bleiben im Allgemeinen die vorherrschende Form von Diffusionsmodellen, wenn auch mit Verbesserungen, die durch nachfolgende Forschung vorangetrieben wurden. Zum Beispiel markierte die einflussreiche Arbeit „High-Resolution Image Synthesis with Latent Diffusion Models“ aus dem Jahr 2022 wichtige Fortschritte in Bezug auf Effizienz und Kosteneffektivität.

Der Zweck des Vorwärtsdiffusionsprozesses besteht darin, saubere Daten aus dem Trainingsdatensatz, wie z. B. ein Bild oder eine Audioaufnahme, in reines Rauschen umzuwandeln. Die gängigste Methode besteht darin, iterativ Gaußsches Rauschen einzufügen, bis die gesamte Datenverteilung gaußsch ist.

Mathematisch wird dieser schrittweise Prozess als Markow-Kette formuliert: eine Art stochastischer Prozess – ein Zufallsprozess, der bestimmten Wahrscheinlichkeitsregeln folgt – zur Modellierung sequenzieller Zeitreihendaten. In einer Markow-Kette wird das Ergebnis jedes Zeitschritts nur durch den unmittelbar vorhergehenden Zeitschritt beeinflusst. Einfach ausgedrückt: x_t, der Zustand der Markow-Kette x zum Zeitpunkt t, wird nur direkt von x_t-1 beeinflusst. Die mathematische Funktion, die den Übergang von einem beliebigen x_t zu x_t+1 definiert, wird als Übergangskern bezeichnet.

Zu jedem Zeitpunkt t wird eine kleine Menge Gaußsches Rauschen zu x_t-1 hinzugefügt, und das Bild wird dann neu skaliert, um trotz der kontinuierlichen Zufügung zufälliger Pixel eine konstante Bildgröße beizubehalten. In dieser Formulierung ist x₀ der ursprüngliche, saubere Datenpunkt. x₁ ist der Datenpunkt nach dem ersten Zeitschritt, dem eine geringe Menge an Gaußschem Rauschen hinzugefügt wurde. x_T ist der Endzustand des Vorwärtsdiffusionsprozesses. Wenn T groß genug ist – d. h. nach genügend Schritten – konvergiert x_T zu reinem Gaußschen Rauschen.

Wir definieren jeden Vorwärtsschritt als $F\left(X_t\right|X_{t-1}):$den Zustand der Datenverteilung q(x_t) vorhersagen, wenn q(x_t-1) gegeben ist. Bei einem Standard-DDPM beinhaltet dieser Vorwärtsprozess kein maschinelles Lernen: Das Endergebnis der Markov-Kette ist immer eine Gaußsche Verteilung und erfordert daher keine Optimierung.

Zusätzliches Rauschen

Bei einem DDPM ist das Gaußsche Rauschen, das bei jedem Schritt in der Markov-Kette hinzugefügt wird, weder konstant noch willkürlich. Stattdessen wird das Rauschen aus der Struktur des Originalbildes abgeleitet und die Rate, mit der es hinzugefügt wird, nimmt mit jedem aufeinanderfolgenden Schritt stetig zu.

Durch die Variation der Geräuschmenge wird sowohl die Stabilität des Modelltrainings verbessert als auch die Gesamtleistung gesteigert, indem zwei konkurrierende Prioritäten ausgeglichen werden. Wie Yang Song in seinem Blogbeitrag über Score-basierte generative Modelle feststellte (Link befindet sich außerhalb von ibm.com):

• Größeres Rauschen verbessert die Fähigkeit des Modells, in Bereichen mit „geringer Dichte“ von Trainingsdaten – visuelle Kategorien und Konzepte, die in Trainingsdaten weniger repräsentiert sind – genau zu lernen, indem diese Bereiche mit verrauschten Daten aufgefüllt werden. Aber es kann auch zu einer Überkorrektur von Daten führen, was die Gesamtgenauigkeit verringert.
• Ein geringeres Rauschen führt zu einer geringeren Verfälschung der ursprünglichen Datenverteilung, weisen jedoch in Regionen mit geringer Dichte eine schlechte Leistung auf.
• Um das Beste aus beiden Welten zu erreichen, verwenden Diffusionsmodelle daher mehrere Rauschstufen im Training.

Erinnern Sie sich daran, dass jede Gaußsche (Normal-)Verteilung sowohl einen Mittelwert $\mu$ als auch eine Varianz, $\mathrm{\Sigma ,\; hat}$ . Ein weiterer Parameter, β, dient als Skalierungsfaktor für den Mittelwert und die Varianz des Gaußschen Rauschens im Übergangskern, der jeden Schritt in der Vorwärts-Markov-Kette definiert. Wenn Sie den Wert von β in einem bestimmten Schritt ändern, ändert sich auch das in diesem Schritt hinzugefügte Gaußsche Rauschen. β₁ ist die Varianz zum Zeitpunkt 1, β_t ist die Varianz zum Zeitpunkt t usw. – bis β_T.

Der Wert der Rate von β bei jedem Schritt wird wiederum durch den Varianzplan bestimmt.

Varianzplan

Bei jedem Schritt t wird das Bild gegenüber seiner Iteration im vorherigen Schritt leicht verschoben (gemäß dem Mittelwert) und dieser verschobenen Version des Bildes wird Rauschen hinzugefügt (gemäß der Varianz). Das Ausmaß jeder Verschiebung und jedes zusätzlichen Lärms wird durch den Wert von  ${\beta }_t$: wenn ${\beta }_t$ dieser gemäß dem Varianzplan ansteigt, nimmt die Diffusionsrate infolgedessen stetig zu. β ist immer ein Wert zwischen 0 und 1: also 0 < β₁ < β₂ < … < β_T < 1.

Die Wahl eines bestimmten Varianzplans für β ist eine wichtige Überlegung. Er wird in der Regel manuell als Hyperparameter festgelegt – entweder auf einen konstanten Wert fixiert oder nach einer Formel mit einem vorgegebenen Start- und Endwert für β. In dem DDPM-Papier verwendeten Ho et al. einen linearen Zeitplan mit 1.000 Schritten, wobei β₁ = 10^-4 und β_T = 0,02. Spätere Untersuchungen ergaben Leistungs- und Effizienzsteigerungen bei anderen Typen von Zeitplänen, wie z. B. einem Cosinus-Zeitplan^[1] oder der Verwendung des Zeitplans selbst als weiteren erlernten Parameter.^[2]

Der Wert von β_t bestimmt sowohl den Mittelwert als auch die Varianz des Gaußschen Rauschens, das in Schritt t hinzugefügt wird.

• Der Mittelwert $\mu$ des im Zeitschritt t hinzugefügten Gaußschen Rauschens,${\mu }_t$wird wie folgt berechnet: ${\mu }_t=\left(1-{\beta }_t\right)X_{t-1}$Einfach ausgedrückt ist der Durchschnitt des bei jedem Schritt t hinzugefügten Rauschens einfach eine skalierte Version des Bildes aus dem vorherigen Schritt, x_t-1. Die Größe von β_t bestimmt, wie weit dieser Mittelwert vom vorherigen Schritt abweicht: Wenn β_t sehr klein ist, ist diese Verschiebung sehr gering – weil $\left(1-{\beta }_t\right)\approx (1-0)\approx 1$– und das hinzugefügte Rauschen wird daher dem Originalbild sehr ähnlich sein. Mit steigendem Wert von β_t wird diese Verschiebung bedeutender.
  
  
• Die Varianz des zum Zeitschritt t hinzugefügten Gaußschen Rauschens wird als berechnet ${\mathrm{\Sigma ,\; hat}}_t={\beta }_{t}I$, wobei $I$ ist die Einheitsmatrix (Link befindet sich außerhalb von ibm.com). Ein größeres β_t führt zu mehr Rauschen. Ein sehr kleines β_t führt zu vernachlässigbarem Rauschen.

Zusammenfassend lässt sich sagen, dass bei jedem Schritt t das Bild geringfügig gegenüber seiner Iteration im vorherigen Schritt verschoben wird (gemäß dem Mittelwert) und dieser verschobenen Version des Bildes Rauschen hinzugefügt wird (gemäß der Varianz). Das Ausmaß jeder Verschiebung und jedes zusätzlichen Rauschens wird durch den Wert von β_t bestimmt: Wenn β_t gemäß dem Varianzplan zunimmt, steigt die Diffusionsrate infolgedessen stetig an.

Da die Hinzufügung des Gaußschen Rauschens allmählich beginnt und das Rauschen selbst immer von der wesentlichen Struktur des Originalbildes im vorherigen Schritt abgeleitet wird, bleiben die wesentlichen Eigenschaften des Originalbildes über viele Schritte hinweg erhalten. Dadurch kann das Modell während des umgekehrten Diffusionsprozesses die Muster und die Struktur der ursprünglichen Datenverteilung sinnvoll erlernen.

Der Reparametrisierungstrick

Ein Nachteil dieses schrittweisen Prozesses ist, dass er umständlich und rechenintensiv ist: Für jedes Bild in einem Trainingsdatensatz, der Tausende oder Millionen von Bildern enthalten kann, würde der Vorwärtsprozess Dutzende oder Hunderte von Einzelschritten erfordern.

Anstatt wiederholt Rauschen hinzuzufügen, kann die Formel für den Vorwärtsprozess auf geschickte Weise umgeschrieben werden, indem der Ausdruck von$1–{\beta }_t$ als neuer Parameter, , neu parametrisiert wird. ${\alpha }_t$. Durch eine „nette Eigenschaft“ von Markow-Ketten kann dieser neue Parameter weiter zu einem zusätzlichen Parameter erweitert werden, ${\overline{\alpha }}_t$, abgeleitet aus der iterativen Multiplikation von ${\alpha }_t$ bei jedem fortschreitenden Schritt in der Kette bis zu diesem Punkt. Dieser zusätzliche Parameter spiegelt im Wesentlichen das Signal-Rausch-Verhältnis (SNR) von x_t wider: Mit anderen Worten, wie viel vom Originalbild zum Zeitpunkt t übrig bleibt.

Zum Beispiel wurde bei x₁, einmal ein kleines Rauschen hinzugefügt. Der Wert von  ${\overline{\alpha }}_t$ liegt nahe bei 1, was bedeutet, dass das Bild immer noch den größten Teil seines ursprünglichen „Signals“ beibehält. In einem späteren Schritt, wie x₅₀, wurde das Rauschen viele Male hinzugefügt. Weil ${\alpha }_t=1–{\beta }_t$, der Wert von  ${\alpha }_t$ ist immer kleiner als 1. Seit ${\overline{\alpha }}_{50}={\alpha }_1\bullet {\alpha }_2\bullet ...\bullet {\alpha }_{49}\bullet {\alpha }_{50}$, der Wert von  ${\overline{\alpha }}_t$ Bei Schritt 50 liegt es viel näher an 0, was bedeutet, dass ein größerer Teil des Originalbildes durch Rauschen ersetzt wurde. Im Zeitschritt T ist x_T ausschließlich Rauschen und der Wert von  ${\overline{\alpha }}_t$ nähert sich 0.

Während die komplexe Herleitung der Gleichung den Rahmen dieses Artikels sprengen würde, gibt es zwei wichtige Erkenntnisse, um die Bedeutung dieses Tricks zur Neuparametrisierung zu verstehen:

• Der Zustand von x zu jedem Zeitschritt t kann nun definiert werden als $X_t=\sqrt{{\overline{\alpha }}_t}\bullet X_0+\sqrt{1-{\overline{\alpha }}_t}\bullet {\epsilon }_0$, wobei ${\epsilon }_0$ ist das Rauschen, das im ersten Schritt hinzugefügt wurde. Da der Wer von ${\overline{\alpha }}_t$ mit jedem Schritt abnimmt, nimmt der Einfluss von x₀ ab und der Einfluss von ε₀ zu.
  
  
• Weil ${\overline{\alpha }}_t$ von abgeleitet ist $1–{\beta }_t$ und der Wert von ${\beta }_t$ durch den Varianzplan bestimmt wird, ermöglicht das Umschreiben der Formel die direkte Berechnung von x_t zu jedem Zeitpunktschritt t , ohne den gesamten Prozess Schritt für Schritt durchlaufen zu müssen.

In Diffusionsmodellen findet der eigentliche maschinelle Lernprozess im umgekehrten Diffusionsprozess statt. Indem das Modell lernt, die Schritte des Vorwärtsprozesses rückwärts auszuführen, lernt es im Wesentlichen, reines Gaußsches Rauschen in ein sauberes Bild umzuwandeln. Sobald das neuronale Netz trainiert wurde, kann diese Fähigkeit genutzt werden, um durch schrittweise Rückdiffusion neue Bilder aus Gaußschem Rauschen zu erzeugen.

Theoretisch kann man sich die Aufgabe des Modells als die einfache Umkehrung der Vorwärtsdiffusion vorstellen. Der Vorwärtsprozess, beginnend mit dem Datenpunkt x₀, der aus der realen Datenverteilung q(x) des Trainingsdatensatzes entnommen wurde, ist definiert als $F\left(X_t\right|X_{t-1})$: das heißt, wenn $F\left(X_{t-1}\right)$gegeben ist, wird berechnet$F\left(X_t\right)$. Das Gegenteil, die umgekehrte Diffusion, würde definiert werden als: $F\left(X_{t-1}\right|X_t)$. Doch in der Praxis ist be die Berechnung von $F\left(X_{t-1}\right|X_t)$ nicht lösbar.

Stattdessen wird die Trainingsaufgabe durch zwei Umgehungslösungen formuliert:

• Wie bereits beschrieben, wird q(x) durch ein neuronales Netz p_θ(x) angenähert, das das eigentliche Diffusionsmodell darstellt. Ziel des Trainings ist es, die Modellparameter θ zu lernen, die die Ausgabe von p_θ( $X_{t-1}|X_t$ ) mit der Ausgabe von q() in Übereinstimmung bringen.$X_{t-1}|X_t$ ).
  
  
• Dieses Modell, p_θ(x), sagt nicht direkt voraus $X_{t-1}$noch das spezifische Rauschen, das zwischen x_t-1 und x_t hinzugefügt wurde. Stattdessen wird das gesamte Rauschen, das in x_t vorhanden ist, vorhergesagt und dann ein Teil dieses Rauschens (basierend auf dem Zustand des Varianzplans in diesem Schritt) entfernt, um zu x_t-1 zu gelangen. Das ursprüngliche DDPM-Papier vereinfachte diesen Prozess weiter, indem nur der Mittelwert des Gaußschen Rauschens geschätzt wurde, obwohl spätere Modelle oft auch die Varianz vorhersagen.

Erinnern Sie sich noch einmal daran, dass der Mittelwert des bei der Vorwärtsdiffusion hinzugefügten Gaußschen Rauschens nicht willkürlich ist: Obwohl er tatsächlich zufällig ist, wird die Struktur des Rauschens zunächst aus der Struktur des Originalbildes x₀ abgeleitet. Durch das Erlernen der genauen Vorhersage des Rauschens durch Rückdiffusion lernt das Modell daher nicht nur, das Bild zu entrauschen, sondern auch implizit die Struktur von x₀.

Verlustfunktion für das Training des Diffusionsmodells

Das spezifische Trainingsziel, das für Diffusionsmodelle verwendet wird, ist eng mit dem Rekonstruktionsverlust-Begriff verbunden, der zur Optimierung von Variational Autoencoders (VAEs) verwendet wird. Wie VAEs werden Diffusionsmodelle durch Maximierung der Varianzuntergrenze (VLB), auch Evidenzuntergrenze (ELBO) genannt, einer Kombination mehrerer Verlustterme optimiert.

Die Maximierung des VLB wird in der Variationsinferenz verwendet, um die schwer fassbare Score-Funktion zu approximieren. ${\nabla }_X\mathrm{Protokoll}\left(p\right(X\left)\right)$: Anstatt Fehler direkt zu minimieren, wird die Gleichung neu formuliert, indem die minimale Schätzung (oder untere Grenze) der Genauigkeit von Modellvorhersagen maximiert wird.

Die verwendeten Verlustbegriffe spiegeln jeweils die Kullback-Leibler-Divergenz (oder „KL-Divergenz“, üblicherweise als D_KL bezeichnet) zwischen den Ergebnissen der Vorwärtsdiffusionsschritte von q und den durch p_θ vorhergesagten Rückwärtsschritten wider. Die KL-Divergenz wird verwendet, um den Unterschied zwischen zwei Wahrscheinlichkeitsverteilungen zu messen – beispielsweise zwischen der Verteilung von Pixelwerten in einem Bild und der Verteilung von Pixelwerten in einem anderen.

Insbesondere kombiniert die Verlustfunktion für Diffusionsmodelle drei Verlustbedingungen: L_T, L_t und L₀.

•  L_T spiegelt die KL-Abweichung zwischen q$\left(X_T\right|X_0)$ und p_θ(x_T) wider. Mit anderen Worten: die Differenz zwischen dem vollständig geräuschvollen Endergebnis des Vorwärtsprozesses q und dem Ausgangspunkt des Rückwärtsprozesses. Dieser Term kann im Allgemeinen ignoriert werden, da x_T gaußverteilt ist und q keine lernbaren Parameter hat.
  
  
• L_t spiegelt die KL-Divergenz zwischen $F\left(X_{t-1}\right|X_t,X_0)$ und $p_{\theta }\left(X_{t-1}\right|X_t)$ bei jedem Schritt wider. Mit anderen Worten: die Genauigkeit jeder der Entrauschungsvorhersagen von p_θ während der Rückwärtsdiffusion im Vergleich zu jedem entsprechenden Rauschschritt während des Vorwärtsdiffusionsprozesses für das Originalbild x₀.
  
  
• L₀ misst $-\mathrm{Protokoll}{p}_{\theta }\left(X_0\right|X_1)$Anders ausgedrückt spiegelt L₀ die negative logarithmische Wahrscheinlichkeit der Vorhersage des vollständig entrauschten Bildes x₀ durch das Modell wider. Die Steigung von L₀ ist der zuvor in diesem Artikel beschriebene Score Matching Term. Die Verlustbedingung ist negativ, sodass die Minimierung der Verlustfunktion der Maximierung der Wahrscheinlichkeit der Modellvorhersagen entspricht.
  

Obwohl die komplexe mathematische Herleitung den Rahmen dieses Artikels sprengen würde, kann die VLB letztlich auf den mittleren quadratischen Fehler (MSE) zwischen dem vom Modell vorhergesagten Rauschen ${\epsilon }_{\theta }$ und dem im Vorwärtsprozess hinzugefügten tatsächlichen Rauschen $\epsilon$, bei jedem Zeitschritt vereinfacht werden. Dies erklärt, warum das Modell als Ausgabe eine Vorhersage des Rauschens bei jedem Schritt liefert und nicht das entrauschte Bild selbst.

Durch die Berechnung der Steigung der Verlustfunktion während der Backpropagation und die anschließende Anpassung der Modellgewichte zur Minimierung der Verlustfunktion durch Gradientenabstieg werden die Vorhersagen des Modells über den gesamten Trainingsdatensatz hinweg genauer.

Sobald das Diffusionsmodell gelernt hat, das bei jedem Schritt zu subtrahierende Rauschen genau zu schätzen, kann es verwendet werden, um neue Bilder zu erzeugen, indem es ein zufälliges verrauschtes Bild x_T aus der erlernten Datenverteilung auswählt und es für T Schritte entrauscht. Ähnlich wie bei VAEs ermöglicht die Einführung eines leichten Zufallselements in den Stichprobenprozess Diffusionsmodellen, neue Bilder zu erzeugen, die den Trainingsdaten ähneln, anstatt die Trainingsbilder direkt zu reproduzieren.

Anders als beim Rückdiffusionstraining muss die Anzahl der Schritte im Generierungsprozess nicht mit der Anzahl der Schritte im Vorwärtsprozess übereinstimmen. Dies ist möglich, weil das Modell darauf trainiert ist, das gesamte Rauschen bei jedem Bildschritt vorherzusagen, und nicht nur die spezifische Menge an Rauschen, die in diesem Schritt entfernt werden soll.

Weniger Schritte bedeuten eine höhere Geschwindigkeit und geringere Rechenanforderungen, wobei ein potenzieller Kompromiss bei den feinen Details besteht. Mehr Schritte verbessern in der Regel die Genauigkeit, allerdings auf Kosten einer geringeren Geschwindigkeit und höherer Rechenkosten.

Geführte Diffusionsmodelle

Während ein Standard-Diffusionsmodell zufällige, qualitativ hochwertige Variationen von Trainingsbildern erzeugen kann, erfordern die praktischen Anwendungen eines Bildgenerierungsmodells in den meisten Fällen eine gewisse Kontrolle über die Ausgabe des Modells. Geführte Diffusionsmodelle ermöglichen es einem Benutzer, die erzeugten Bilder mit spezifischen Anleitungen zu bearbeiten.

Die häufigste Form des geführten Diffusionsmodells ist ein Text-zu-Bild-Diffusionsmodell, bei dem Benutzer die Ausgabe mit einem Prompt wie „eine Giraffe, die einen Zylinder trägt“ beeinflussen können. Dies beinhaltet die Kombination eines Diffusionsmodells mit einem separaten Large Language Model (LLM) zur Interpretation des Text-Prompts, das erstmals von Google in dem Artikel „Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding“ vorgestellt wurde.

Standard-Diffusionsmodelle zielen auf die Vorhersage der unbedingten Score-Funktion ab ${\nabla }_X\mathrm{Protokoll}p\left(X\right)$: mit anderen Worten: Die Steigung des Logarithmus der Wahrscheinlichkeit, dass das vom Modell p erzeugte Bild x zu den Trainingsdaten x passt. Geführte Diffusionsmodelle führen eine bestimmte visuelle Kategorie ein, y – zum Beispiel „Giraffe“ – und sagen die bedingte Score-Funktion voraus. ${\nabla }_X\mathrm{Protokoll}p\left(X\right|y)$: oder anders ausgedrückt, die Wahrscheinlichkeit von Bild x, vorausgesetzt, es muss in Kategorie y passen.

Methoden für die geführte Diffusion können in zwei Kategorien unterteilt werden:

• Klassifikator-gesteuerte Diffusion erfordert ein separates Klassifikatormodell, um Vektor-Einbettungen für jede Kategorie y zu erlernen, für die das Diffusionsmodell darauf trainiert wird, visuelle Darstellungen zu erzeugen. Diese Vektoreinbettung wird dann verwendet, um die Ausgabe bei jedem Schritt t zu konditionieren. Das Diffusionsmodell erfordert keine zusätzliche Schulung, kann aber nur Ausgaben in den spezifischen Kategorien konditionieren, die der Klassifikator gelernt hat.
  
  
• Klassifikatorfreie Anleitung erfordert kein separates Modell, aber ein zweistufiges Diffusionsmodell, das speziell für die bedingte Führung trainiert wird. Dies umfasst in der Regel ein zweistufiges Modell: In der ersten Stufe generiert ein Einbettungsalgorithmus wie CLIP (Link befindet sich außerhalb von ibm.com) eine Einbettung y für den Prompt. In der zweiten Stufe verwendet ein Diffusionsmodell diese Einbettung, um seine Ausgabe zu konditionieren. Trotz des zusätzlichen Schulungsaufwands hat dies den Vorteil, dass eine „Zero-Shot“-Anleitung für nicht sichtbare Bildkategorien möglich ist.