KI Panorama

Suche

Wissensstufe: Einfach

  • Training

    Der Prozess, in dem ein Modell seine Parameter anhand von Daten und einer Zielfunktion anpasst.

    Einfach erklärt

    Der Prozess, in dem ein Modell seine Parameter anhand von Daten und einer Zielfunktion anpasst.

    Beispiel

    Ein Bilderkennungsmodell sieht viele beschriftete Beispiele und verringert schrittweise seine Fehler.

    Technische Bedeutung

    Training nutzt Optimierungsverfahren, Validierung und Testdaten. Gute Trainingsleistung allein beweist keine Generalisierung.

    Verwandte Begriffe

    Inferenz, Parameter, Verlustfunktion

    Quellen

  • Maschinelles Lernen

    Maschinelles Lernen ist ein Teilgebiet der KI. Ein Modell lernt aus Daten, welche Eingaben typischerweise zu welchen Ausgaben gehören, anstatt jede Regel einzeln programmiert zu bekommen.

    Einfach erklärt

    Statt einem Computer jede mögliche Regel aufzuschreiben, zeigt man ihm viele Beispiele. Aus diesen Beispielen lernt ein Modell wiederkehrende Muster. Danach kann es neue, bisher nicht gesehene Fälle einschätzen.

    Ein Lernverfahren „versteht“ die Beispiele nicht automatisch wie ein Mensch. Es verändert Zahlenwerte im Modell so, dass die berechneten Ausgaben bei den Trainingsbeispielen möglichst gut zu den gewünschten Ergebnissen passen.

    Anschauliches Beispiel

    Für eine Bilderkennung werden viele Bilder mit den Bezeichnungen „Katze“ und „Hund“ verwendet. Während des Trainings passt das Modell seine Parameter an. Bei einem neuen Bild berechnet es anschließend Wahrscheinlichkeiten für die gelernten Kategorien.

    Fortgeschrittene Erklärung

    Beim überwachten Lernen liegen Eingaben und gewünschte Zielwerte vor. Beim unüberwachten Lernen sucht ein Verfahren Strukturen in nicht beschrifteten Daten, etwa Gruppen ähnlicher Datensätze. Beim Reinforcement Learning erhält ein System Rückmeldungen in Form von Belohnungen und lernt eine Strategie für aufeinanderfolgende Entscheidungen.

    Training, Validierung und Test müssen getrennt betrachtet werden. Gute Ergebnisse auf Trainingsdaten beweisen nicht, dass ein Modell auf neue Daten verallgemeinert. Überanpassung entsteht, wenn ein Modell Besonderheiten der Trainingsdaten lernt, die außerhalb dieses Datensatzes nicht gelten.

    Expertenwissen

    Ein Modell mit Parametern θ wird häufig durch Minimierung einer Verlustfunktion L(θ) trainiert. Gradientenbasierte Optimierer verändern θ schrittweise in eine Richtung, die den Fehler auf den Trainingsdaten verringert. Generalisierung, Regularisierung, Datenverteilung und die Wahl geeigneter Bewertungsmetriken sind zentrale Bestandteile der Modellierung.

    Maschinelles Lernen ist nicht auf neuronale Netze beschränkt. Lineare Modelle, Entscheidungsbäume, Support-Vector-Machines, probabilistische Modelle und Clustering-Verfahren bleiben für viele Aufgaben sinnvoll und oft besser erklärbar.

    Möglichkeiten und Grenzen

    • Geeignet für Aufgaben, bei denen genügend repräsentative Daten und messbare Zielgrößen vorhanden sind.
    • Schlechte oder einseitige Daten führen zu entsprechend problematischen Ergebnissen.
    • Veränderte Umweltbedingungen können die Leistung nach der Einführung verschlechtern.
    • Eine hohe Durchschnittsgenauigkeit kann seltene, aber wichtige Fehler verdecken.

    Quellen

  • GraphCast: Wettervorhersage mit Graph Neural Networks

    GraphCast war ein wichtiger Forschungsmeilenstein für KI-gestützte Wettermodelle. Das System lernte aus Reanalyse-Daten und erzeugte globale Vorhersagen für zahlreiche Wettervariablen.

    Einfach erklärt

    Klassische Wettermodelle berechnen physikalische Gleichungen auf Supercomputern. GraphCast lernte aus historischen, physikalisch aufbereiteten Wetterdaten, wie sich globale Zustände typischerweise weiterentwickeln.

    Das System konnte eine Zehn-Tage-Prognose in sehr kurzer Rechenzeit erzeugen. Es ist kein gewöhnlicher Wetterdienst für Endnutzer, sondern ein Forschungsmodell und Baustein einer schnell fortschreitenden Modellfamilie.

    Wissenschaftlicher Hintergrund

    GraphCast nutzt ein Graph Neural Network, das Wetterzustände auf einem globalen Gitter und einem mehrskaligen Graphen verarbeitet. Trainiert wurde es mit ERA5-Reanalysedaten.

    Die 2023 in Science veröffentlichte Arbeit verglich GraphCast mit dem damaligen operationellen deterministischen HRES-System des ECMWF. Neuere KI-Wettermodelle wurden seitdem weiterentwickelt; GraphCast ist daher als dokumentierter Forschungsstand von 2023 einzuordnen, nicht als Aussage über das heute beste Modell.

    Ergebnisse

    • Vorhersage zahlreicher globaler Wettervariablen bis zu zehn Tage.
    • Im veröffentlichten Vergleich bessere Ergebnisse auf einem großen Anteil der geprüften Zielgrößen.
    • Sehr kurze Inferenzzeit im Vergleich zu aufwendigen numerischen Simulationen.
    • Bereitgestellter Forschungscode und Modellressourcen.

    Bedeutung und mögliche Anwendungen

    Schnelle KI-Modelle können Ensembles, Frühwarnung, Forschung und die Ergänzung numerischer Wettermodelle unterstützen. Besonders wichtig ist die Kombination mit meteorologischer Expertise, Unsicherheitsabschätzung und kontinuierlicher Validierung.

    Grenzen und offene Fragen

    • Wettervorhersagen bleiben grundsätzlich unsicher und müssen probabilistisch bewertet werden.
    • Leistung bei Extremereignissen, veränderten Klimabedingungen und seltenen Situationen muss fortlaufend geprüft werden.
    • Training beruht auf Reanalysedaten, die selbst Modelle und Messungen kombinieren.
    • Operationeller Einsatz erfordert robuste Datenpipelines, Überwachung und institutionelle Verantwortung.

    Publikationen und Originalquellen

    Die GraphCast-Arbeit erschien 2023 in Science. Google DeepMind stellt außerdem Projektinformationen und Code bereit. Die aktuelle DeepMind-Wetterforschung wird unter WeatherNext weitergeführt.

    Quellen

  • Transformer

    Eine neuronale Netzwerkarchitektur, die Sequenzen hauptsächlich mit Attention-Mechanismen verarbeitet.

    Einfach erklärt

    Eine neuronale Netzwerkarchitektur, die Sequenzen hauptsächlich mit Attention-Mechanismen verarbeitet.

    Beispiel

    Das Modell kann Beziehungen zwischen weit auseinanderliegenden Wörtern eines Satzes berücksichtigen.

    Technische Bedeutung

    Transformer kombinieren Multi-Head Attention, Feedforward-Netze, Residualverbindungen, Normalisierung und Positionsinformation.

    Verwandte Begriffe

    Attention, LLM, Token

    Quellen

  • Neuronale Netze und Deep Learning

    Ein künstliches neuronales Netz verarbeitet Zahlen durch mehrere miteinander verbundene Schichten. Beim Training werden die Verbindungsgewichte so angepasst, dass das Netz eine Aufgabe zunehmend besser löst.

    Einfach erklärt

    Ein neuronales Netz besteht aus vielen kleinen Rechenschritten. Jede Schicht nimmt Zahlen entgegen, gewichtet sie, wendet eine nichtlineare Funktion an und gibt neue Zahlen an die nächste Schicht weiter.

    „Deep Learning“ bedeutet, dass ein Netz viele Verarbeitungsschichten besitzt. Dadurch kann es aus Rohdaten schrittweise komplexere Merkmale bilden – bei Bildern zum Beispiel von Kanten über Formen bis zu ganzen Objekten.

    Anschauliches Beispiel

    Eine Bilderkennung erhält Pixelwerte. Frühe Schichten reagieren auf einfache Kontraste und Kanten. Spätere Schichten kombinieren diese Signale zu Texturen, Formen und schließlich zu Merkmalen, die für die gesuchte Kategorie relevant sind.

    Fortgeschrittene Erklärung

    Die Recheneinheiten werden üblicherweise als lineare Transformationen mit anschließender Aktivierungsfunktion umgesetzt. Beim Vorwärtslauf entsteht eine Ausgabe. Eine Verlustfunktion misst die Abweichung vom Ziel. Durch Backpropagation werden Gradienten für die Parameter berechnet und von einem Optimierer aktualisiert.

    Unterschiedliche Architekturen sind auf unterschiedliche Datenstrukturen zugeschnitten. Faltungsnetze wurden für räumliche Daten populär, rekurrente Netze für Sequenzen und Transformer für lange Abhängigkeiten sowie stark parallelisierbare Verarbeitung.

    Expertenwissen

    Tiefe Netze lernen hierarchische Repräsentationen. Ihre Ausdrucksstärke entsteht aus der Verkettung vieler affiner Transformationen und Nichtlinearitäten. Entscheidend sind nicht nur Tiefe und Parameterzahl, sondern auch Daten, Optimierungsverfahren, Regularisierung, Normierung, Architektur und Rechenbudget.

    Die internen Repräsentationen sind verteilt: Ein einzelner Parameter entspricht meist keinem klar benennbaren Wissensteil. Interpretierbarkeit und robuste Kausalität bleiben deshalb anspruchsvoll.

    Möglichkeiten und Grenzen

    • Neuronale Netze sind besonders leistungsfähig bei Bildern, Sprache, Text, Audio und komplexen Sensordaten.
    • Sie benötigen häufig große Datenmengen und erhebliche Rechenleistung.
    • Sie können empfindlich auf Datenverschiebungen und manipulierte Eingaben reagieren.
    • Ihre Entscheidungen sind oft schwer vollständig nachzuvollziehen.

    Quellen

  • Algorithmus

    Eine endliche, eindeutig beschriebene Folge von Verarbeitungsschritten zur Lösung einer Aufgabe.

    Einfach erklärt

    Eine endliche, eindeutig beschriebene Folge von Verarbeitungsschritten zur Lösung einer Aufgabe.

    Beispiel

    Ein Kochrezept ist eine anschauliche Analogie: Aus Zutaten und klaren Schritten entsteht ein Ergebnis.

    Technische Bedeutung

    In KI-Systemen können Algorithmen Daten aufbereiten, Modelle trainieren, Suchräume durchsuchen oder Ausgaben erzeugen.

    Verwandte Begriffe

    Maschinelles Lernen, Training, Modell

    Quellen

  • Generative KI

    Generative KI berechnet neue Inhalte, die zu einer Eingabe und zu den im Training gelernten Mustern passen. Sie ruft dabei nicht einfach einen fertigen Text oder ein fertiges Bild aus einer Datenbank ab.

    Einfach erklärt

    Ein generatives Modell lernt, wie bestimmte Daten typischerweise aufgebaut sind. Ein Sprachmodell lernt Muster in Texten. Ein Bildmodell lernt statistische Zusammenhänge zwischen Bildinhalten und Beschreibungen. Aus einer neuen Anweisung erzeugt es dann eine neue Ausgabe.

    Das Ergebnis kann originell wirken, bleibt aber eine mathematisch erzeugte Kombination gelernter Strukturen. Es besitzt keine automatische Garantie für Wahrheit, Urheberrechtsfreiheit oder Eignung.

    Anschauliches Beispiel

    Bei der Eingabe „eine technische Zeichnung eines freundlichen Haushaltsroboters“ erzeugt ein Bildmodell keine Fotografie aus einem Archiv. Es startet je nach Modelltyp mit Rauschen oder einer latenten Repräsentation und formt daraus schrittweise ein Bild, das zur Beschreibung passt.

    Fortgeschrittene Erklärung

    Zu generativen Modellklassen gehören autoregressive Modelle, Diffusionsmodelle, Variational Autoencoder und Generative Adversarial Networks. Autoregressive Sprachmodelle erzeugen Sequenzen schrittweise. Diffusionsmodelle lernen, Rauschen zu entfernen und daraus strukturierte Daten zu rekonstruieren.

    Die Ausgabe wird durch Eingabe, Kontext, Sampling-Verfahren, Modellparameter und Sicherheitsmechanismen beeinflusst. Unterschiedliche Einstellungen können bei derselben Eingabe unterschiedliche Ergebnisse erzeugen.

    Expertenwissen

    Generative Modelle approximieren eine Datenverteilung oder eine bedingte Verteilung. Beim Sampling werden neue Beispiele aus dieser gelernten Verteilung erzeugt. Bei Foundation Models wird ein breit trainiertes Basismodell für viele Aufgaben genutzt und durch Prompting, Fine-Tuning, Retrieval oder Werkzeuge angepasst.

    NIST beschreibt für generative KI unter anderem Risiken wie Konfabulationen, Datenschutzverletzungen, schädliche Verzerrungen, Informationsintegrität, Sicherheitsprobleme und problematische Mensch-System-Konfigurationen.

    Möglichkeiten und Grenzen

    • Erzeugung und Bearbeitung von Text, Bild, Audio, Video, 3D und Code.
    • Schnelle Variantenbildung, Entwürfe und Unterstützung kreativer Prozesse.
    • Ausgaben können sachlich falsch, verzerrt oder rechtlich problematisch sein.
    • Vertrauliche Daten dürfen nicht ungeprüft an externe Dienste übermittelt werden.
    • Qualitätskontrolle und Quellenprüfung bleiben erforderlich.

    Quellen

  • Attention

    Ein Mechanismus, der berechnet, welche Teile einer Eingabe für die Verarbeitung anderer Teile besonders relevant sind.

    Einfach erklärt

    Ein Mechanismus, der berechnet, welche Teile einer Eingabe für die Verarbeitung anderer Teile besonders relevant sind.

    Beispiel

    In einem Satz kann ein Pronomen auf ein weit entferntes Substantiv verweisen. Attention hilft dem Modell, diese Beziehung zu gewichten.

    Technische Bedeutung

    Transformer verwenden Query-, Key- und Value-Repräsentationen, um gewichtete Kombinationen von Informationen zu berechnen.

    Verwandte Begriffe

    Transformer, Kontextfenster, Token

    Quellen

  • Große Sprachmodelle (LLMs)

    Ein Large Language Model erzeugt Sprache, indem es aus dem bisherigen Kontext Wahrscheinlichkeiten für die nächsten Token berechnet. Seine flüssige Sprache ist kein Beweis für gesichertes Wissen oder menschliches Verständnis.

    Einfach erklärt

    Ein Sprachmodell erhält einen Text und berechnet, welche Textteile wahrscheinlich folgen. Dieser Vorgang wird wiederholt, bis eine Antwort entstanden ist.

    Durch sehr umfangreiches Training kann das Modell Grammatik, Stil, Faktenmuster und viele Aufgabenformen abbilden. Es besitzt aber kein eingebautes Wahrheitsprüfsystem. Es kann überzeugend formulieren und trotzdem falsch liegen.

    Anschauliches Beispiel

    Nach dem Satz „Die Hauptstadt von Frankreich ist“ erhält das Token „Paris“ eine sehr hohe Wahrscheinlichkeit. Bei offenen Fragen gibt es viele mögliche Fortsetzungen. Das Modell wählt abhängig von seinen Einstellungen eine davon aus.

    Fortgeschrittene Erklärung

    LLMs sind meist Transformer-basierte Foundation Models. Sie werden zunächst auf großen Text- und Codedatensätzen vortrainiert. Danach können weitere Trainingsschritte folgen, etwa Instruction Tuning oder Präferenzoptimierung, damit das Modell Anweisungen besser befolgt.

    Der Kontext umfasst die aktuelle Eingabe und gegebenenfalls vorherige Nachrichten oder eingefügte Dokumente. Informationen außerhalb des Kontextes stammen aus den gelernten Parametern oder aus angebundenen Werkzeugen wie Suche und Retrieval.

    Expertenwissen

    Autoregressive LLMs modellieren eine Sequenzwahrscheinlichkeit als Produkt bedingter Wahrscheinlichkeiten. Die Transformer-Architektur berechnet kontextabhängige Repräsentationen mit Attention. Beim Training wird häufig die Vorhersage verdeckter oder nächster Token optimiert.

    Skalierung verbessert viele Fähigkeiten, beseitigt aber grundlegende Probleme nicht automatisch. Kalibrierung, Datenherkunft, Evaluierung, Systemprompt, Sampling und externe Werkzeuge beeinflussen Zuverlässigkeit und Verhalten.

    Möglichkeiten und Grenzen

    • Texterzeugung, Zusammenfassung, Übersetzung, Klassifikation, Code und dialogische Unterstützung.
    • Kann mit Dokumenten, Suchsystemen und Programmierschnittstellen verbunden werden.
    • Kennt nicht automatisch den aktuellen Stand und kann Quellen erfinden.
    • Kann Anweisungen missverstehen oder widersprüchliche Ziele verfolgen.
    • Vertrauliche und kritische Inhalte erfordern kontrollierte Prozesse.

    Quellen

  • Embedding

    Eine numerische Vektorrepräsentation von Text, Bildern oder anderen Daten, in der ähnliche Inhalte häufig nahe beieinander liegen.

    Einfach erklärt

    Eine numerische Vektorrepräsentation von Text, Bildern oder anderen Daten, in der ähnliche Inhalte häufig nahe beieinander liegen.

    Beispiel

    Eine semantische Suche kann „Passwort zurücksetzen“ finden, obwohl nach „Zugangsdaten ändern“ gesucht wurde.

    Technische Bedeutung

    Embeddings werden durch trainierte Modelle erzeugt und mit Distanz- oder Ähnlichkeitsmaßen verglichen.

    Verwandte Begriffe

    Vektorsuche, RAG, Token

    Quellen