Ein künstliches neuronales Netz verarbeitet Zahlen durch mehrere miteinander verbundene Schichten. Beim Training werden die Verbindungsgewichte so angepasst, dass das Netz eine Aufgabe zunehmend besser löst.
Einfach erklärt
Ein neuronales Netz besteht aus vielen kleinen Rechenschritten. Jede Schicht nimmt Zahlen entgegen, gewichtet sie, wendet eine nichtlineare Funktion an und gibt neue Zahlen an die nächste Schicht weiter.
„Deep Learning“ bedeutet, dass ein Netz viele Verarbeitungsschichten besitzt. Dadurch kann es aus Rohdaten schrittweise komplexere Merkmale bilden – bei Bildern zum Beispiel von Kanten über Formen bis zu ganzen Objekten.
Anschauliches Beispiel
Eine Bilderkennung erhält Pixelwerte. Frühe Schichten reagieren auf einfache Kontraste und Kanten. Spätere Schichten kombinieren diese Signale zu Texturen, Formen und schließlich zu Merkmalen, die für die gesuchte Kategorie relevant sind.
Fortgeschrittene Erklärung
Die Recheneinheiten werden üblicherweise als lineare Transformationen mit anschließender Aktivierungsfunktion umgesetzt. Beim Vorwärtslauf entsteht eine Ausgabe. Eine Verlustfunktion misst die Abweichung vom Ziel. Durch Backpropagation werden Gradienten für die Parameter berechnet und von einem Optimierer aktualisiert.
Unterschiedliche Architekturen sind auf unterschiedliche Datenstrukturen zugeschnitten. Faltungsnetze wurden für räumliche Daten populär, rekurrente Netze für Sequenzen und Transformer für lange Abhängigkeiten sowie stark parallelisierbare Verarbeitung.
Expertenwissen
Tiefe Netze lernen hierarchische Repräsentationen. Ihre Ausdrucksstärke entsteht aus der Verkettung vieler affiner Transformationen und Nichtlinearitäten. Entscheidend sind nicht nur Tiefe und Parameterzahl, sondern auch Daten, Optimierungsverfahren, Regularisierung, Normierung, Architektur und Rechenbudget.
Die internen Repräsentationen sind verteilt: Ein einzelner Parameter entspricht meist keinem klar benennbaren Wissensteil. Interpretierbarkeit und robuste Kausalität bleiben deshalb anspruchsvoll.
Möglichkeiten und Grenzen
- Neuronale Netze sind besonders leistungsfähig bei Bildern, Sprache, Text, Audio und komplexen Sensordaten.
- Sie benötigen häufig große Datenmengen und erhebliche Rechenleistung.
- Sie können empfindlich auf Datenverschiebungen und manipulierte Eingaben reagieren.
- Ihre Entscheidungen sind oft schwer vollständig nachzuvollziehen.