Ein Diffusionsmodell kann aus Rauschen schrittweise ein strukturiertes Bild oder andere Daten erzeugen. Es hat im Training gelernt, wie verrauschte Beispiele wieder in plausible Daten zurückgeführt werden.
Einfach erklärt
Im Training wird ein Bild zunehmend verrauscht. Das Modell lernt für viele Rauschstufen, wie es einen kleinen Teil dieses Rauschens wieder entfernen kann.
Bei der Erzeugung beginnt das System mit Rauschen und wiederholt den gelernten Entrauschungsschritt. Eine Texteingabe kann den Prozess in Richtung eines gewünschten Motivs steuern.
Anschauliches Beispiel
Aus einer zufälligen Pixelwolke entstehen zuerst grobe Flächen, dann Formen, Objekte und Details. Der Prozess ist nicht mit dem Freilegen eines versteckten fertigen Bildes gleichzusetzen; das Bild wird während der Berechnung erzeugt.
Fortgeschrittene Erklärung
Denoising Diffusion Probabilistic Models definieren einen Vorwärtsprozess, der Daten schrittweise in Rauschen überführt, und einen gelernten Rückwärtsprozess. In praktischen Bildsystemen findet die Diffusion häufig in einem komprimierten latenten Raum statt.
Konditionierung kann über Text-Embeddings, Bilder, Kanten, Tiefenkarten oder andere Steuersignale erfolgen. Dadurch sind Text-zu-Bild, Bildvariation, Inpainting und strukturell kontrollierte Erzeugung möglich.
Expertenwissen
Der Rückwärtsprozess approximiert bedingte Übergangsverteilungen beziehungsweise eine Score-Funktion. Die Trainingsziele können auf Rauschvorhersage, Datenvorhersage oder andere Parametrisierungen ausgerichtet sein.
Sampling-Verfahren beeinflussen Geschwindigkeit, Qualität und Reproduzierbarkeit. Weniger Schritte beschleunigen die Erzeugung, können aber Detailtreue und Stabilität verändern.
Möglichkeiten und Grenzen
- Hochwertige Erzeugung und Bearbeitung von Bildern sowie zunehmend weiterer Modalitäten.
- Gezielte Steuerung über Text und zusätzliche Kontrollsignale.
- Details, Textdarstellung und räumliche Konsistenz können fehlerhaft sein.
- Trainingsdaten, Urheberrecht, Identitätsmissbrauch und Deepfakes erfordern klare Regeln.