KI Panorama

Wissensstufe: Fortgeschritten

  • Vision-Language-Action-Modelle (VLA)

    Ein Vision-Language-Action-Modell verarbeitet Bilder oder Kameradaten und eine sprachliche Anweisung. Seine Ausgabe beschreibt nicht nur Text, sondern Aktionen für einen Roboter. Damit wird multimodales Lernen auf die physische Welt erweitert.

    Einfach erklärt

    Ein VLA-Modell kann sehen, eine Anweisung verstehen und daraus eine Bewegung ableiten, etwa einen Gegenstand greifen oder sortieren.

    Funktionsweise

    • Kameras liefern visuelle Beobachtungen
    • Sprache beschreibt Ziel oder Aufgabe
    • Das Modell verbindet Objekte, räumliche Beziehungen und mögliche Handlungen
    • Aktionsausgaben werden in Steuerbefehle des Roboters übersetzt
    • Neue Kameradaten ermöglichen laufende Korrekturen

    Warum Webdaten helfen können

    Modelle können visuelle und sprachliche Begriffe aus großen Bild-Text-Datensätzen lernen. Für sichere Bewegungen benötigen sie zusätzlich Roboteraktionen, Sensordaten und Training in kontrollierten Umgebungen.

    Möglichkeiten

    • Allgemeinere Roboteranweisungen in natürlicher Sprache
    • Übertragung gelernter Konzepte auf neue Objekte
    • Planung mehrstufiger Manipulationsaufgaben
    • Lokale Ausführung mit geringer Latenz bei spezialisierten Modellen

    Grenzen und Sicherheit

    • Demonstrationen zeigen keine garantierte Zuverlässigkeit
    • Physische Fehler können Menschen oder Gegenstände gefährden
    • Unbekannte Umgebungen und verdeckte Objekte bleiben schwierig
    • Not-Aus, Geschwindigkeitsgrenzen und räumliche Schutzbereiche sind erforderlich

    Primärquellen

  • KI-Benchmarks und Evaluationen

    Benchmarks vergleichen Modelle unter festgelegten Bedingungen. Praktische Evaluationen müssen zusätzlich reale Aufgaben, Daten, Fehlerfolgen, Kosten und menschliche Kontrolle abbilden. Besonders agentische Systeme benötigen mehrstufige Tests in einer realistischen Umgebung.

    Einfach erklärt

    Ein Benchmark ist eine standardisierte Prüfung. Ein gutes Ergebnis dort bedeutet nicht automatisch, dass das Modell in deinem Arbeitsablauf ebenso gut funktioniert.

    Arten von Evaluationen

    • Wissens- und Verständnisfragen
    • Code- und Mathematikaufgaben
    • Faktentreue und Quellenbindung
    • Bild-, Audio- oder Videoverständnis
    • Sicherheitstests und Red Teaming
    • End-to-End-Aufgaben mit Werkzeugen

    Warum Ergebnisse schwanken

    • Prompt und Systemanweisung beeinflussen das Ergebnis
    • Modelle und Dienste werden laufend aktualisiert
    • Bewertungsmodelle können eigene Verzerrungen besitzen
    • Trainingsdaten können Testaufgaben enthalten
    • Zufälligkeit und Werkzeugfehler verändern einzelne Läufe

    Praxisnahe Evaluation

    1. Repräsentative Aufgaben aus dem eigenen Betrieb sammeln
    2. Erwartete Ausgabe und Fehlerklassen definieren
    3. Mehrere Durchläufe und schwierige Randfälle testen
    4. Qualität, Zeit, Kosten und Sicherheitsvorfälle messen
    5. Ergebnisse regelmäßig nach Modellupdates wiederholen

    Agenten testen

    Bei Agenten zählt nicht nur die Endantwort. Auch Werkzeugwahl, Zwischenzustände, Berechtigungen, Abbruchverhalten und die Fähigkeit zur Übergabe an Menschen müssen geprüft werden.

    Primärquellen

  • Lokale KI und Quantisierung

    Bei lokaler KI laufen Modell und Daten auf dem eigenen Gerät oder einer selbst kontrollierten Infrastruktur. Quantisierung reduziert Speicherbedarf und Rechenaufwand, kann aber Qualität oder Geschwindigkeit je nach Modell, Hardware und Verfahren unterschiedlich beeinflussen.

    Einfach erklärt

    Ein großes Modell speichert sehr viele Zahlen. Werden diese Zahlen mit weniger Stellen gespeichert, benötigt das Modell weniger Speicher. Das ähnelt einer komprimierten Darstellung, bei der möglichst wenig nutzbare Genauigkeit verloren gehen soll.

    Vorteile lokaler Ausführung

    • Daten müssen nicht zwangsläufig an einen externen Dienst übertragen werden
    • Feste Kosten statt nutzungsabhängiger API-Gebühren können möglich sein
    • Offline-Betrieb und geringe Netzwerklatenz
    • Eigene Kontrolle über Version und Konfiguration

    Typische Präzisionen

    • FP32: hohe Genauigkeit, hoher Speicherbedarf
    • FP16 oder BF16: verbreitet für moderne Beschleuniger
    • INT8: deutlich kleiner, häufig mit geringer Qualitätseinbuße
    • INT4 und darunter: starke Kompression mit höherem Abstimmungsbedarf

    Grenzen

    • Lokale Verarbeitung ist nicht automatisch datenschutzkonform
    • Hardware, Stromverbrauch und Wartung bleiben erforderlich
    • Sehr große Modelle passen auch quantisiert nicht auf jedes Gerät
    • Manche Aufgaben verlieren durch starke Quantisierung messbar an Qualität

    Auswahlkriterien

    • Aufgabe und benötigte Modellqualität
    • Verfügbarer RAM oder Grafikspeicher
    • Unterstützung der konkreten CPU, GPU oder NPU
    • Lizenz und erlaubte Nutzung
    • Update- und Sicherheitskonzept

    Primärquellen

  • Mixture-of-Experts-Modelle (MoE)

    Ein Mixture-of-Experts-Modell enthält mehrere sogenannte Experten. Ein Router entscheidet für jedes Token, welche Experten berechnet werden. Dadurch kann ein Modell sehr viele Parameter besitzen, ohne bei jeder Eingabe alle Parameter zu verwenden.

    Einfach erklärt

    Statt jede Frage an die gesamte Mannschaft zu geben, verteilt ein Router einzelne Aufgaben an wenige passende Spezialisten.

    Technische Grundidee

    • Mehrere Feed-Forward-Netze dienen als Experten
    • Ein Routing-Netz berechnet Auswahlgewichte
    • Nur die ausgewählten Experten verarbeiten das jeweilige Token
    • Die Ergebnisse werden gewichtet zusammengeführt

    Vorteile

    • Hohe Modellkapazität bei begrenztem Rechenaufwand pro Token
    • Spezialisierung verschiedener Experten kann entstehen
    • Skalierung auf sehr große Parameterzahlen

    Herausforderungen

    • Ungleichmäßige Auslastung einzelner Experten
    • Hoher Kommunikationsaufwand über mehrere Beschleuniger
    • Komplexere Bereitstellung und Optimierung
    • Gesamtparameterzahl ist nicht direkt mit aktiv genutzten Parametern vergleichbar

    Einordnung

    MoE ist eine Architekturentscheidung und kein Beleg für bessere Qualität. Vergleichbar sind Modelle nur über konkrete Aufgaben, aktive Rechenkosten, Speicherbedarf und unabhängige Evaluationen.

    Primärquellen

  • AlphaFold 3: Strukturen biomolekularer Wechselwirkungen

    AlphaFold 3 nutzt eine deutlich veränderte, diffusionsbasierte Architektur zur gemeinsamen Strukturvorhersage biomolekularer Komplexe. Es ist ein Forschungswerkzeug für Hypothesen und Strukturmodelle, kein Ersatz für experimentelle Validierung oder klinische Entscheidungen.

    Forschungsfrage

    Wie lassen sich nicht nur einzelne Proteine, sondern die räumlichen Strukturen und Wechselwirkungen verschiedener Biomoleküle vorhersagen?

    Ansatz

    Das Modell verarbeitet Sequenzen und chemische Komponenten gemeinsam und erzeugt atomare 3D-Strukturen mit einem Diffusionsmodul. Konfidenzwerte helfen dabei, Vorhersagen einzuordnen.

    Validierte Ergebnisse

    • Die Nature-Arbeit berichtet verbesserte Genauigkeit für mehrere Klassen biomolekularer Interaktionen
    • Unterstützt werden unter anderem Proteine, Nukleinsäuren, kleine Moleküle, Ionen und modifizierte Reste
    • Der AlphaFold Server ermöglicht ausgewählten Forschungsnutzungen ohne eigene Hochleistungsinfrastruktur

    Bedeutung

    • Hypothesen über Protein-Ligand- und Protein-Nukleinsäure-Interaktionen
    • Unterstützung früher Phasen biologischer und pharmazeutischer Forschung
    • Gemeinsame Betrachtung verschiedener Molekülklassen in einem Modell

    Grenzen

    • Vorhersagen ersetzen keine Labor- oder klinischen Daten
    • Beweglichkeit, Reaktionsabläufe und zelluläre Bedingungen werden nur begrenzt abgebildet
    • Konfidenzwerte müssen für jede Komponente und Interaktion geprüft werden

    Status

    Veröffentlichtes Forschungssystem; Nutzung und Lizenzbedingungen unterscheiden sich zwischen Server, Code und Gewichten.

    Primärquellen

  • AlphaGenome: Auswirkungen genetischer Varianten vorhersagen

    AlphaGenome ist ein Forschungsmodell für regulatorische Genomik. Es verarbeitet lange DNA-Sequenzen und liefert hochauflösende Vorhersagen zu verschiedenen molekularen Eigenschaften. Die Ergebnisse sind Hypothesen für Forschung und keine medizinische Diagnose.

    Forschungsfrage

    Viele krankheitsrelevante Varianten liegen außerhalb protein-codierender Bereiche. Wie beeinflussen sie Genregulation, Spleißen und andere molekulare Prozesse?

    Ansatz

    Das Modell kombiniert lange Eingabesequenzen mit feiner räumlicher Auflösung und sagt mehrere genomische Signale sowie Varianteneffekte voraus.

    Mögliche Anwendungen

    • Priorisierung regulatorischer Varianten für Experimente
    • Untersuchung möglicher Mechanismen hinter Erkrankungen
    • Analyse von Effekten auf Genexpression und RNA-Verarbeitung
    • Planung gezielter Laborstudien

    Grenzen

    • Das Modell wurde als Forschungsvorschau vorgestellt
    • Vorhersagen können populations- und zelltypspezifische Zusammenhänge übersehen
    • Kausalität und klinische Bedeutung müssen experimentell und medizinisch bestätigt werden
    • Die API ist nicht für diagnostische Entscheidungen bestimmt

    Status

    Forschungsvorschau mit API-Zugang für nichtkommerzielle Forschung; weitere Validierung und Veröffentlichung des Modells wurden angekündigt.

    Primärquellen

  • AlphaEvolve: Algorithmen durch evolutionäre Codesuche

    AlphaEvolve sucht nach Programmen, die ein klar messbares Ziel verbessern. Kandidaten werden automatisch ausgeführt und bewertet; erfolgreiche Varianten dienen als Ausgangspunkt für weitere Vorschläge. Ergebnisse sind besonders belastbar, wenn die Bewertungsfunktion die Aufgabe vollständig abbildet.

    Forschungsfrage

    Können Sprachmodelle nicht nur Code schreiben, sondern durch wiederholte, automatisch bewertete Variation neue und effizientere Algorithmen entdecken?

    Ansatz

    • Mehrere Sprachmodelle schlagen Programmvarianten vor
    • Automatische Evaluatoren messen Korrektheit oder Leistung
    • Eine evolutionäre Datenbank wählt vielversprechende Kandidaten
    • Neue Generationen verändern und kombinieren erfolgreiche Programme

    Berichtete Anwendungen

    • Optimierung von Rechenzentrums- und Planungsalgorithmen
    • Beiträge zu Chipdesign und KI-Training
    • Neue Varianten für Matrixmultiplikation
    • Suche nach Lösungen mathematischer Probleme

    Warum das überprüfbarer ist

    Die Ausgabe besteht aus ausführbarem Code. Dieser kann mit Tests, Benchmarks oder mathematischen Prüfungen bewertet werden. Das reduziert, aber beseitigt nicht die Gefahr einer unvollständigen Bewertungsfunktion.

    Grenzen

    • Die Aufgabe benötigt eine verlässliche maschinelle Bewertungsfunktion
    • Optimierung kann unbeabsichtigte Lücken im Messverfahren ausnutzen
    • Entdeckter Code muss von Fachleuten verstanden, getestet und abgesichert werden

    Status

    Aktives Forschungssystem; konkrete Zugänglichkeit und Einsatzbereiche sind begrenzt und können sich ändern.

    Primärquellen

  • KI-Agenten: planen, handeln und Ergebnisse prüfen

    Ein KI-Agent beantwortet nicht nur eine einzelne Eingabe. Er kann ein Ziel in Schritte zerlegen, Werkzeuge aufrufen, Zwischenergebnisse auswerten und seinen Plan anpassen. Autonomie bedeutet dabei nicht Zuverlässigkeit: Berechtigungen, Grenzen und menschliche Kontrolle bleiben entscheidend.

    Einfach erklärt

    Ein Chatbot liefert gewöhnlich eine Antwort. Ein Agent versucht dagegen, eine Aufgabe über mehrere Schritte zu erledigen. Er kann beispielsweise Informationen suchen, eine Datei bearbeiten und danach prüfen, ob das Ergebnis zum Ziel passt.

    Typischer Ablauf

    1. Ziel und verfügbare Werkzeuge erfassen
    2. Nächsten sinnvollen Schritt auswählen
    3. Werkzeug ausführen und Ergebnis zurücklesen
    4. Plan anhand des Ergebnisses anpassen
    5. Bei Unsicherheit nachfragen oder an einen Menschen übergeben

    Fortgeschritten

    Agentische Systeme bestehen häufig aus einem Sprachmodell, einem Orchestrierungsprogramm, Werkzeugdefinitionen, einem Arbeitsgedächtnis und Regeln für Abbruch oder Freigabe. In der Forschung verbindet ReAct sprachliches Schlussfolgern mit Aktionen in einer Umgebung.

    Was Agenten gut können

    • Mehrstufige Recherche mit klaren Quellenregeln
    • Wiederholbare Bearbeitung vieler ähnlicher Dateien
    • Softwareentwicklung mit Tests und Versionskontrolle
    • Koordination klar definierter Geschäftsprozesse

    Grenzen und Risiken

    • Fehler können sich über mehrere Schritte fortpflanzen
    • Werkzeuge können reale Daten verändern oder Kosten verursachen
    • Unklare Ziele führen zu unnötigen oder falschen Aktionen
    • Lange Aufgaben benötigen Zustandskontrolle, Protokolle und Abbruchkriterien

    Sichere Gestaltung

    • Nur notwendige Berechtigungen vergeben
    • Kritische Aktionen bestätigen lassen
    • Eingaben und Werkzeugergebnisse validieren
    • Jeden Schritt protokollieren
    • Klare Übergabe an Menschen vorsehen

    Primärquellen

  • Workflows und Agenten: der wichtige Unterschied

    Nicht jede Automatisierung braucht einen autonomen Agenten. Vorhersehbare Aufgaben sind mit festen Workflows oft günstiger, kontrollierbarer und leichter zu testen. Agenten sind vor allem dann sinnvoll, wenn der Lösungsweg nicht vollständig im Voraus festgelegt werden kann.

    Einfach erklärt

    Ein Workflow ist wie ein Rezept mit festen Schritten. Ein Agent ist eher wie eine Fachkraft, die ein Ziel erhält und innerhalb vorgegebener Grenzen entscheidet, welche Schritte nötig sind.

    Typische Workflow-Muster

    • Nacheinander ausgeführte Schritte
    • Verzweigung nach festen Regeln
    • Mehrere Modelle arbeiten parallel
    • Eine Instanz bewertet das Ergebnis einer anderen
    • Menschliche Freigabe an definierten Punkten

    Wann ein Workflow genügt

    • Eingaben und Ausgaben sind klar definiert
    • Der Prozess ändert sich selten
    • Fehler müssen leicht nachvollziehbar sein
    • Rechtliche oder finanzielle Risiken verlangen feste Kontrollen

    Wann ein Agent sinnvoll sein kann

    • Die Aufgabe erfordert flexible Recherche
    • Unterschiedliche Werkzeuge müssen situationsabhängig kombiniert werden
    • Zwischenergebnisse verändern den weiteren Lösungsweg
    • Es gibt eine messbare Erfolgsbedingung und sichere Grenzen

    Praxisregel

    Zuerst den einfachsten kontrollierbaren Workflow bauen. Agentische Entscheidungen nur dort ergänzen, wo feste Regeln den tatsächlichen Varianten nicht gerecht werden.

    Primärquellen

  • Tool Use und Function Calling

    Beim Function Calling führt das Modell nicht selbstständig eine Datenbankabfrage oder Bestellung aus. Es erzeugt einen strukturierten Aufruf mit Werkzeugname und Argumenten. Die umgebende Software prüft diese Angaben, führt die Funktion aus und gibt das Ergebnis an das Modell zurück.

    Einfach erklärt

    Das Modell erhält eine Liste erlaubter Werkzeuge. Statt eine Antwort zu erfinden, kann es beispielsweise anfordern: „Wetterdaten für Berlin abrufen“. Das Programm entscheidet, ob der Aufruf zulässig ist, und liefert die echten Daten zurück.

    Technischer Ablauf

    1. Entwickler beschreibt Werkzeug, Parameter und Datentypen
    2. Modell erzeugt einen strukturierten Aufruf
    3. Anwendung validiert Berechtigung und Argumente
    4. Server führt die eigentliche Funktion aus
    5. Ergebnis wird als Werkzeugresultat an das Modell zurückgegeben
    6. Modell formuliert daraus die Antwort

    Vorteile

    • Aktuelle oder interne Daten können eingebunden werden
    • Ausgaben lassen sich durch Schemas besser strukturieren
    • Reale Aktionen werden vom Anwendungscode kontrolliert
    • Ein Modell kann mehrere spezialisierte Systeme koordinieren

    Sicherheitsregeln

    • Argumente niemals ungeprüft ausführen
    • Schreibende und löschende Funktionen besonders schützen
    • Zugriffsrechte pro Nutzer und Vorgang prüfen
    • Werkzeugergebnisse als nicht vertrauenswürdige Eingabe behandeln
    • Zeitlimits, Kostenlimits und Protokollierung einsetzen

    Abgrenzung

    Tool Use ist ein Baustein. Erst eine Schleife aus Planung, Werkzeugaufruf, Beobachtung und Anpassung macht daraus ein agentisches System.

    Primärquellen