KI Panorama

Suche

Thema: Multimodale KI

  • Vision-Language-Action-Modelle (VLA)

    Ein Vision-Language-Action-Modell verarbeitet Bilder oder Kameradaten und eine sprachliche Anweisung. Seine Ausgabe beschreibt nicht nur Text, sondern Aktionen für einen Roboter. Damit wird multimodales Lernen auf die physische Welt erweitert.

    Einfach erklärt

    Ein VLA-Modell kann sehen, eine Anweisung verstehen und daraus eine Bewegung ableiten, etwa einen Gegenstand greifen oder sortieren.

    Funktionsweise

    • Kameras liefern visuelle Beobachtungen
    • Sprache beschreibt Ziel oder Aufgabe
    • Das Modell verbindet Objekte, räumliche Beziehungen und mögliche Handlungen
    • Aktionsausgaben werden in Steuerbefehle des Roboters übersetzt
    • Neue Kameradaten ermöglichen laufende Korrekturen

    Warum Webdaten helfen können

    Modelle können visuelle und sprachliche Begriffe aus großen Bild-Text-Datensätzen lernen. Für sichere Bewegungen benötigen sie zusätzlich Roboteraktionen, Sensordaten und Training in kontrollierten Umgebungen.

    Möglichkeiten

    • Allgemeinere Roboteranweisungen in natürlicher Sprache
    • Übertragung gelernter Konzepte auf neue Objekte
    • Planung mehrstufiger Manipulationsaufgaben
    • Lokale Ausführung mit geringer Latenz bei spezialisierten Modellen

    Grenzen und Sicherheit

    • Demonstrationen zeigen keine garantierte Zuverlässigkeit
    • Physische Fehler können Menschen oder Gegenstände gefährden
    • Unbekannte Umgebungen und verdeckte Objekte bleiben schwierig
    • Not-Aus, Geschwindigkeitsgrenzen und räumliche Schutzbereiche sind erforderlich

    Primärquellen

  • Aeneas: antike lateinische Inschriften kontextualisieren

    Aeneas ist ein multimodales generatives Modell für Epigraphik. Es kombiniert Text und Bildinformationen und liefert historische Parallelen als Begründungshilfe. Die beste Verwendung ist eine Zusammenarbeit mit Fachleuten, nicht die automatische Festlegung einer einzigen historischen Interpretation.

    Forschungsfrage

    Wie können beschädigte oder unvollständige Inschriften mit großen Sammlungen ähnlicher historischer Texte verbunden werden?

    Ansatz

    Das Modell verarbeitet transkribierten Text und, falls vorhanden, Bilder. Es restauriert fehlende Teile, schätzt Zeit und Herkunft und sucht kontextuell ähnliche Inschriften.

    Veröffentlichte Ergebnisse

    • Verbesserte Ergebnisse bei Restaurierung sowie geografischer und zeitlicher Zuordnung im verwendeten Datensatz
    • Ausgabe historisch begründeter Textparallelen
    • Studien mit Historikern untersuchten die Zusammenarbeit zwischen Mensch und Modell

    Bedeutung

    • Schneller Zugriff auf Parallelen in großen Inschriftensammlungen
    • Unterstützung bei fragmentarischen oder beschädigten Quellen
    • Beispiel für KI in Geisteswissenschaften und digitaler Archäologie

    Grenzen

    • Daten sind zeitlich, geografisch und sprachlich ungleich verteilt
    • Modelle können plausible, aber historisch falsche Ergänzungen erzeugen
    • Datierung und Interpretation benötigen weiterhin Quellenkritik und Fachwissen

    Primärquellen