KI Panorama

Suche

Medium oder Format: Text

  • Multimodale KI

    Ein multimodales KI-System kann mehrere Medienarten miteinander verknüpfen. Es kann beispielsweise ein Bild analysieren, eine Frage dazu verstehen und eine gesprochene Antwort erzeugen.

    Einfach erklärt

    Menschen nehmen die Welt nicht nur als Text wahr. Multimodale Systeme verbinden verschiedene Formen von Information – zum Beispiel Wörter, Bilder, Töne, Videos oder Sensordaten.

    Dadurch kann ein System Inhalte zwischen Modalitäten übersetzen: ein Bild beschreiben, Sprache transkribieren, aus Text ein Bild erzeugen oder Video und Ton gemeinsam auswerten.

    Anschauliches Beispiel

    Ein Nutzer fotografiert eine defekte Maschine und stellt dazu eine gesprochene Frage. Ein multimodales System kann Bild und Sprache gemeinsam verarbeiten und eine textliche oder gesprochene Hilfestellung erzeugen. Für eine verlässliche Diagnose wären jedoch technische Dokumente und fachliche Prüfung nötig.

    Fortgeschrittene Erklärung

    Multimodale Modelle verwenden Encoder und Decoder für unterschiedliche Datentypen oder eine gemeinsame Tokenrepräsentation. Kontrastives Lernen kann Bild- und Textrepräsentationen in einem gemeinsamen Raum ausrichten.

    Vision-Language-Modelle kombinieren visuelle Merkmale mit Sprachmodellen. Weitere Systeme integrieren Audio, Video, 3D oder Roboteraktionen.

    Expertenwissen

    CLIP zeigte, wie Bild- und Textencoder durch kontrastives Lernen auf große Mengen gepaarter Bild-Text-Daten ausgerichtet werden können. Flamingo verband vortrainierte visuelle und sprachliche Komponenten für flexible visuelle Fragebeantwortung und Few-Shot-Lernen.

    Aktuelle Systeme unterscheiden sich stark darin, ob Modalitäten nativ gemeinsam trainiert, über Adapter verbunden oder über getrennte Spezialmodelle orchestriert werden. Multimodalität allein garantiert weder räumliches Verständnis noch physikalische Korrektheit.

    Möglichkeiten und Grenzen

    • Barrierefreiheit durch Bildbeschreibung, Transkription und Sprachausgabe.
    • Medienproduktion, visuelle Recherche und technische Assistenz.
    • Fehler können sich aus mehreren Modalitäten gegenseitig verstärken.
    • Bilder, Stimmen und Videos erhöhen Datenschutz- und Identitätsrisiken.
    • Sensordaten benötigen domänenspezifische Validierung.

    Quellen

  • Halluzinationen und Konfabulationen

    Ein KI-System kann eine flüssige und selbstbewusste Antwort erzeugen, obwohl Angaben erfunden, verwechselt oder nicht belegt sind. Sprachqualität und sachliche Richtigkeit sind getrennte Eigenschaften.

    Einfach erklärt

    Ein Sprachmodell berechnet wahrscheinliche Fortsetzungen. Es prüft nicht automatisch in einer verlässlichen Datenbank, ob jede Aussage stimmt.

    Darum kann es Quellen, Namen, Zahlen oder Ereignisse erfinden. Die Antwort klingt oft überzeugend, weil das Modell gut darin ist, sprachlich passende Muster zu erzeugen.

    Anschauliches Beispiel

    Bei der Frage nach einem seltenen Gerichtsurteil kann ein Modell einen plausibel klingenden Aktennamen und eine Zusammenfassung erzeugen, obwohl das Urteil nicht existiert. Ohne Prüfung in einer echten Rechtsdatenbank bleibt die Antwort unzuverlässig.

    Fortgeschrittene Erklärung

    NIST bezeichnet die selbstbewusste Erzeugung falscher oder irreführender Inhalte als Konfabulation. In der Forschung wird häufig weiterhin der Begriff Halluzination verwendet.

    Ursachen können unvollständige Trainingsdaten, mehrdeutige Eingaben, Sampling, fehlender Zugriff auf aktuelle Quellen, fehlerhaftes Retrieval oder ein Konflikt zwischen hilfreicher Formulierung und Unsicherheit sein.

    Expertenwissen

    Halluzinationen werden je nach Aufgabe unterschiedlich definiert: als Widerspruch zu einer Quelle, als nicht durch eine Quelle gestützte Aussage oder als faktisch falscher Inhalt. Entsprechend unterscheiden sich Messverfahren und Gegenmaßnahmen.

    RAG, Werkzeugzugriff, strengere Ausgabestrukturen, Kalibrierung, Verifikationsschritte und menschliche Prüfung können Risiken verringern, beseitigen sie aber nicht vollständig.

    Möglichkeiten und Grenzen

    • Fakten, Zitate, Quellen, Zahlen und aktuelle Angaben immer prüfen.
    • Für Recherche Originalquellen verlangen und tatsächlich öffnen.
    • Bei fehlender Evidenz sollte das System Unsicherheit ausweisen oder nicht antworten.
    • Medizinische, rechtliche, finanzielle und sicherheitskritische Entscheidungen nicht auf ungeprüfte Ausgaben stützen.

    Quellen

  • Komplexe Themen verständlich erklären lassen

    Ein Sprachmodell kann ein Thema an Vorwissen, Ziel und gewünschte Tiefe anpassen. Das Ergebnis eignet sich als Lernhilfe, muss bei Fakten und Fachthemen jedoch überprüft werden.

    Geeignet für

    • ersten Überblick über ein unbekanntes Thema
    • Umformulierung in einfachere Sprache
    • Beispiele und Analogien
    • Lernfragen und Selbstkontrolle

    Voraussetzungen

    Formuliere Thema, Zielgruppe, vorhandenes Wissen und gewünschte Tiefe. Stelle bei wichtigen Fachinformationen verlässliche Quellen bereit oder prüfe die Antwort anschließend in Primärquellen.

    Vorgehensweise

    1. Thema und eigenes Vorwissen nennen.
    2. Eine kurze einfache Erklärung anfordern.
    3. Unklare Begriffe einzeln vertiefen.
    4. Ein konkretes Beispiel und ein Gegenbeispiel verlangen.
    5. Das Verständnis mit Fragen oder einer eigenen Zusammenfassung prüfen.
    6. Fakten, Zahlen und Quellen unabhängig kontrollieren.

    Beispiel

    „Erkläre mir Retrieval-Augmented Generation zuerst in fünf einfachen Sätzen. Zeige danach ein Beispiel aus einem Handwerksbetrieb und anschließend die technische Architektur für einen Entwickler.“

    Qualitätskontrolle

    • Passt die Erklärung zur gestellten Frage?
    • Sind zentrale Begriffe korrekt verwendet?
    • Wurden Einschränkungen und Gegenbeispiele genannt?
    • Lassen sich Fakten in verlässlichen Quellen bestätigen?

    Grenzen und Risiken

    • Vereinfachungen können wichtige Bedingungen unterschlagen.
    • Erfundene Quellen und scheinpräzise Zahlen sind möglich.
    • Eine gut formulierte Erklärung ist kein Ersatz für Fachliteratur oder Unterricht.

    Passende Tools und Modelle

    Geeignet sind dialogfähige Sprachmodelle mit ausreichend großem Kontext. Für aktuelle oder interne Themen ist ein System mit Quellenzugriff oder RAG vorzuziehen.

    Quellen

  • Texte planen und überarbeiten

    Sprachmodelle eignen sich besonders gut als Schreibassistenz: Gliederungen, Varianten, Kürzungen und Stiländerungen lassen sich schnell erzeugen. Inhalt, Fakten und endgültige Formulierung bleiben in menschlicher Verantwortung.

    Geeignet für

    • Gliederungen und Argumentationsstrukturen
    • sprachliche Überarbeitung
    • Kürzen und Zusammenfassen eigener Texte
    • Varianten für unterschiedliche Zielgruppen
    • Checklisten für die Endredaktion

    Voraussetzungen

    Lege Zweck, Zielgruppe, Ton, Länge und unveränderbare Aussagen fest. Vertrauliche Texte nur in dafür freigegebenen Systemen verarbeiten.

    Vorgehensweise

    1. Ziel und Leser des Textes definieren.
    2. Eigene Stichpunkte oder einen Rohentwurf bereitstellen.
    3. Zuerst Strukturvorschläge anfordern, nicht sofort den Endtext.
    4. Abschnittsweise überarbeiten und Änderungen begründen lassen.
    5. Fakten, Zitate und rechtlich relevante Aussagen prüfen.
    6. Endfassung selbst lesen und freigeben.

    Beispiel

    „Überarbeite diesen Absatz für interessierte Anfänger. Erhalte alle Tatsachenbehauptungen, kürze auf 120 Wörter und markiere Stellen, die eine Quelle benötigen.“

    Qualitätskontrolle

    • Wurde die ursprüngliche Aussage verändert?
    • Sind Ton und Zielgruppe passend?
    • Gibt es unbelegte Ergänzungen?
    • Wurden Zitate oder Fachbegriffe korrekt erhalten?

    Grenzen und Risiken

    • Modelle können unbemerkt neue Behauptungen einfügen.
    • Stil kann vereinheitlicht und dadurch unpersönlich werden.
    • Vertrauliche Inhalte und personenbezogene Daten benötigen Schutz.

    Passende Tools und Modelle

    Geeignet sind Sprachmodelle mit Dokumentbearbeitung. Für lange Texte sind Versionierung und eine abschnittsweise Arbeitsweise sinnvoll.

    Quellen

  • Lange Dokumente zusammenfassen

    Eine gute Zusammenfassung verdichtet ein Dokument, ohne neue Aussagen einzuführen. Sprachmodelle können dabei helfen, sollten aber ausdrücklich an den bereitgestellten Text gebunden werden.

    Geeignet für

    • Überblick über Berichte und Protokolle
    • Extraktion von Entscheidungen und Aufgaben
    • Vergleich mehrerer Dokumente
    • Erstellung unterschiedlicher Zusammenfassungstiefen

    Voraussetzungen

    Das Dokument muss vollständig und lesbar vorliegen. Bei vertraulichen Unterlagen ist vorab zu klären, ob der verwendete Dienst dafür freigegeben ist.

    Vorgehensweise

    1. Dokument und gewünschte Zusammenfassungsform festlegen.
    2. Das Modell anweisen, ausschließlich den bereitgestellten Text zu verwenden.
    3. Abschnittsweise Kernpunkte und Belegstellen extrahieren.
    4. Eine Gesamtsynthese erzeugen lassen.
    5. Stichproben gegen Originalstellen prüfen.
    6. Fehlende oder widersprüchliche Informationen sichtbar lassen.

    Beispiel

    „Fasse das Dokument in zehn Kernpunkten zusammen. Nenne zu jedem Punkt die zugehörige Überschrift oder Seitenstelle. Ergänze nichts, was nicht im Dokument steht.“

    Qualitätskontrolle

    • Sind alle wichtigen Abschnitte berücksichtigt?
    • Stimmen Zahlen, Namen und Fristen?
    • Sind Schlussfolgerungen als solche gekennzeichnet?
    • Können Aussagen zu Originalstellen zurückverfolgt werden?

    Grenzen und Risiken

    • Sehr lange Dokumente können gekürzt oder ungleich gewichtet werden.
    • Tabellen, Fußnoten und Grafiken können übersehen werden.
    • Eine Zusammenfassung ersetzt nicht die Prüfung des Originals bei wichtigen Entscheidungen.

    Passende Tools und Modelle

    Geeignet sind Systeme mit Dokumentupload, großem Kontext oder RAG. Für PDF-Tabellen und Abbildungen ist echte multimodale Dokumentanalyse erforderlich.

    Quellen

  • Mit KI recherchieren und Quellen prüfen

    Nutze KI als Rechercheassistenten, nicht als Quelle. Entscheidend ist, ob jede wichtige Aussage auf eine tatsächlich vorhandene, passende und aktuelle Originalquelle zurückgeführt werden kann.

    Geeignet für

    • Fragestellung präzisieren
    • Synonyme und Suchbegriffe finden
    • Quellen nach Themen ordnen
    • Widersprüche zwischen Quellen sichtbar machen
    • Forschungslücken und offene Fragen sammeln

    Voraussetzungen

    Internet- oder Datenbankzugriff, klare Qualitätskriterien und ausreichend Zeit zur Prüfung der Originalquellen.

    Vorgehensweise

    1. Recherchefrage und Zeitraum festlegen.
    2. Geeignete Primärquellen und Fachdatenbanken bestimmen.
    3. Suchbegriffe und alternative Formulierungen erzeugen.
    4. Jede vorgeschlagene Quelle öffnen und Identität prüfen.
    5. Aussagen nur mit tatsächlich passenden Fundstellen übernehmen.
    6. Standdatum, Unsicherheit und widersprechende Ergebnisse dokumentieren.

    Beispiel

    „Erstelle Suchbegriffe für die Frage, wie KI in der Proteinstrukturvorhersage eingesetzt wird. Bevorzuge Originalpublikationen und offizielle Forschungsseiten. Erfinde keine Literaturangaben.“

    Qualitätskontrolle

    • Existiert die Quelle wirklich?
    • Ist sie primär, aktuell und fachlich passend?
    • Unterstützt sie genau die zitierte Aussage?
    • Wurden Gegenpositionen oder Einschränkungen berücksichtigt?

    Grenzen und Risiken

    • Modelle können Literaturangaben oder Zitate erfinden.
    • Suchrankings und Zusammenfassungen können verzerrt sein.
    • Paywalls oder fehlender Volltext erschweren die Prüfung.
    • Aktualität muss bei schnell wechselnden Themen ausdrücklich kontrolliert werden.

    Passende Tools und Modelle

    Geeignet sind Systeme mit nachvollziehbarer Websuche, Zitatverweisen und Zugriff auf wissenschaftliche Datenbanken. Für fachliche Arbeiten bleiben die Originalpublikationen maßgeblich.

    Quellen

  • Programmcode verstehen und prüfen

    Ein Sprachmodell kann Quellcode in natürlicher Sprache erklären und Änderungsvorschläge machen. Verlässlich ist das Ergebnis erst nach Ausführung, Tests, Versionsprüfung und fachlichem Review.

    Geeignet für

    • unbekannten Code erklären
    • Fehlerstellen eingrenzen
    • Tests und Dokumentation entwerfen
    • API-Nutzung anhand offizieller Dokumentation prüfen
    • kleine Prototypen vorbereiten

    Voraussetzungen

    Programmiersprache, Laufzeitversion, Bibliotheksversionen, erwartetes Verhalten und Fehlermeldung müssen genannt werden. Geheimnisse, Zugangsdaten und proprietärer Code gehören nur in freigegebene Systeme.

    Vorgehensweise

    1. Umgebung und exakte Versionen angeben.
    2. Erwartetes und tatsächliches Verhalten beschreiben.
    3. Zuerst Erklärung und Fehlerhypothesen anfordern.
    4. Nur eine Änderung nach der anderen durchführen.
    5. Tests vor und nach der Änderung ausführen.
    6. Sicherheits- und Lizenzfragen getrennt prüfen.

    Beispiel

    „Erkläre diesen Python-3.13-Code Zeile für Zeile. Ändere noch nichts. Nenne anschließend drei überprüfbare Ursachen für die Fehlermeldung und jeweils einen Test.“

    Qualitätskontrolle

    • Passt der Vorschlag zur genannten Version?
    • Laufen vorhandene und neue Tests?
    • Wurden Seiteneffekte und Fehlerbehandlung berücksichtigt?
    • Entstehen neue Sicherheitslücken oder Abhängigkeiten?

    Grenzen und Risiken

    • Modelle können nicht existierende APIs oder veraltete Parameter vorschlagen.
    • Funktionierender Code kann unsicher oder ineffizient sein.
    • Große Projekte benötigen Architekturverständnis, Tests und Code-Review.

    Passende Tools und Modelle

    Geeignet sind codefähige Sprachmodelle mit Zugriff auf das Repository, eine isolierte Ausführungsumgebung und aktuelle offizielle Dokumentation.

    Quellen

  • Generative KI

    Generative KI berechnet neue Inhalte, die zu einer Eingabe und zu den im Training gelernten Mustern passen. Sie ruft dabei nicht einfach einen fertigen Text oder ein fertiges Bild aus einer Datenbank ab.

    Einfach erklärt

    Ein generatives Modell lernt, wie bestimmte Daten typischerweise aufgebaut sind. Ein Sprachmodell lernt Muster in Texten. Ein Bildmodell lernt statistische Zusammenhänge zwischen Bildinhalten und Beschreibungen. Aus einer neuen Anweisung erzeugt es dann eine neue Ausgabe.

    Das Ergebnis kann originell wirken, bleibt aber eine mathematisch erzeugte Kombination gelernter Strukturen. Es besitzt keine automatische Garantie für Wahrheit, Urheberrechtsfreiheit oder Eignung.

    Anschauliches Beispiel

    Bei der Eingabe „eine technische Zeichnung eines freundlichen Haushaltsroboters“ erzeugt ein Bildmodell keine Fotografie aus einem Archiv. Es startet je nach Modelltyp mit Rauschen oder einer latenten Repräsentation und formt daraus schrittweise ein Bild, das zur Beschreibung passt.

    Fortgeschrittene Erklärung

    Zu generativen Modellklassen gehören autoregressive Modelle, Diffusionsmodelle, Variational Autoencoder und Generative Adversarial Networks. Autoregressive Sprachmodelle erzeugen Sequenzen schrittweise. Diffusionsmodelle lernen, Rauschen zu entfernen und daraus strukturierte Daten zu rekonstruieren.

    Die Ausgabe wird durch Eingabe, Kontext, Sampling-Verfahren, Modellparameter und Sicherheitsmechanismen beeinflusst. Unterschiedliche Einstellungen können bei derselben Eingabe unterschiedliche Ergebnisse erzeugen.

    Expertenwissen

    Generative Modelle approximieren eine Datenverteilung oder eine bedingte Verteilung. Beim Sampling werden neue Beispiele aus dieser gelernten Verteilung erzeugt. Bei Foundation Models wird ein breit trainiertes Basismodell für viele Aufgaben genutzt und durch Prompting, Fine-Tuning, Retrieval oder Werkzeuge angepasst.

    NIST beschreibt für generative KI unter anderem Risiken wie Konfabulationen, Datenschutzverletzungen, schädliche Verzerrungen, Informationsintegrität, Sicherheitsprobleme und problematische Mensch-System-Konfigurationen.

    Möglichkeiten und Grenzen

    • Erzeugung und Bearbeitung von Text, Bild, Audio, Video, 3D und Code.
    • Schnelle Variantenbildung, Entwürfe und Unterstützung kreativer Prozesse.
    • Ausgaben können sachlich falsch, verzerrt oder rechtlich problematisch sein.
    • Vertrauliche Daten dürfen nicht ungeprüft an externe Dienste übermittelt werden.
    • Qualitätskontrolle und Quellenprüfung bleiben erforderlich.

    Quellen

  • Große Sprachmodelle (LLMs)

    Ein Large Language Model erzeugt Sprache, indem es aus dem bisherigen Kontext Wahrscheinlichkeiten für die nächsten Token berechnet. Seine flüssige Sprache ist kein Beweis für gesichertes Wissen oder menschliches Verständnis.

    Einfach erklärt

    Ein Sprachmodell erhält einen Text und berechnet, welche Textteile wahrscheinlich folgen. Dieser Vorgang wird wiederholt, bis eine Antwort entstanden ist.

    Durch sehr umfangreiches Training kann das Modell Grammatik, Stil, Faktenmuster und viele Aufgabenformen abbilden. Es besitzt aber kein eingebautes Wahrheitsprüfsystem. Es kann überzeugend formulieren und trotzdem falsch liegen.

    Anschauliches Beispiel

    Nach dem Satz „Die Hauptstadt von Frankreich ist“ erhält das Token „Paris“ eine sehr hohe Wahrscheinlichkeit. Bei offenen Fragen gibt es viele mögliche Fortsetzungen. Das Modell wählt abhängig von seinen Einstellungen eine davon aus.

    Fortgeschrittene Erklärung

    LLMs sind meist Transformer-basierte Foundation Models. Sie werden zunächst auf großen Text- und Codedatensätzen vortrainiert. Danach können weitere Trainingsschritte folgen, etwa Instruction Tuning oder Präferenzoptimierung, damit das Modell Anweisungen besser befolgt.

    Der Kontext umfasst die aktuelle Eingabe und gegebenenfalls vorherige Nachrichten oder eingefügte Dokumente. Informationen außerhalb des Kontextes stammen aus den gelernten Parametern oder aus angebundenen Werkzeugen wie Suche und Retrieval.

    Expertenwissen

    Autoregressive LLMs modellieren eine Sequenzwahrscheinlichkeit als Produkt bedingter Wahrscheinlichkeiten. Die Transformer-Architektur berechnet kontextabhängige Repräsentationen mit Attention. Beim Training wird häufig die Vorhersage verdeckter oder nächster Token optimiert.

    Skalierung verbessert viele Fähigkeiten, beseitigt aber grundlegende Probleme nicht automatisch. Kalibrierung, Datenherkunft, Evaluierung, Systemprompt, Sampling und externe Werkzeuge beeinflussen Zuverlässigkeit und Verhalten.

    Möglichkeiten und Grenzen

    • Texterzeugung, Zusammenfassung, Übersetzung, Klassifikation, Code und dialogische Unterstützung.
    • Kann mit Dokumenten, Suchsystemen und Programmierschnittstellen verbunden werden.
    • Kennt nicht automatisch den aktuellen Stand und kann Quellen erfinden.
    • Kann Anweisungen missverstehen oder widersprüchliche Ziele verfolgen.
    • Vertrauliche und kritische Inhalte erfordern kontrollierte Prozesse.

    Quellen

  • Transformer und Attention

    Ein Transformer bewertet, welche Teile einer Eingabe für andere Teile besonders wichtig sind. Dieser Attention-Mechanismus ermöglicht kontextabhängige Repräsentationen und eine stark parallelisierbare Verarbeitung.

    Einfach erklärt

    In einem Satz hängt die Bedeutung eines Wortes von anderen Wörtern ab. Attention berechnet, auf welche Stellen das Modell bei der Verarbeitung besonders achten sollte.

    Bei „Die Bank am Fluss“ und „die Bank überweist Geld“ erhält das Wort „Bank“ durch den umgebenden Kontext unterschiedliche Repräsentationen.

    Anschauliches Beispiel

    Bei der Übersetzung eines langen Satzes kann ein Transformer für jedes Wort Beziehungen zu allen relevanten Wörtern berechnen. Dadurch muss Information nicht nur Schritt für Schritt durch eine lange Kette weitergereicht werden.

    Fortgeschrittene Erklärung

    Self-Attention erzeugt aus Eingaberepräsentationen Query-, Key- und Value-Vektoren. Ähnlichkeiten zwischen Queries und Keys bestimmen Gewichte, mit denen Values kombiniert werden. Multi-Head Attention berechnet mehrere solcher Beziehungsmuster parallel.

    Positionsinformationen müssen zusätzlich eingebracht werden, weil reine Attention keine natürliche Reihenfolge kennt. Feedforward-Schichten, Residualverbindungen und Normalisierung ergänzen die Architektur.

    Expertenwissen

    Die skalierte Dot-Product-Attention berechnet softmax(QKᵀ/√d)V. Die quadratische Abhängigkeit von der Sequenzlänge ist bei langen Kontexten ein wesentlicher Ressourcenfaktor. Zahlreiche spätere Varianten optimieren Speicher, Rechenaufwand, Positionskodierung und den Umgang mit langen Sequenzen.

    Der ursprüngliche Transformer wurde für maschinelle Übersetzung vorgestellt. Seine Architektur wurde anschließend auf Sprachmodelle, Vision, Audio, Biologie, Robotik und multimodale Systeme übertragen.

    Möglichkeiten und Grenzen

    • Effiziente parallele Verarbeitung während des Trainings.
    • Gute Modellierung weiter Abhängigkeiten in Sequenzen.
    • Hoher Speicher- und Rechenbedarf bei langen Kontexten.
    • Attention-Gewichte sind nicht automatisch eine vollständige Erklärung einer Modellentscheidung.

    Quellen