KI Panorama

Suche

Branche oder Lebensbereich: Softwareentwicklung

  • Mixture-of-Experts-Modelle (MoE)

    Ein Mixture-of-Experts-Modell enthält mehrere sogenannte Experten. Ein Router entscheidet für jedes Token, welche Experten berechnet werden. Dadurch kann ein Modell sehr viele Parameter besitzen, ohne bei jeder Eingabe alle Parameter zu verwenden.

    Einfach erklärt

    Statt jede Frage an die gesamte Mannschaft zu geben, verteilt ein Router einzelne Aufgaben an wenige passende Spezialisten.

    Technische Grundidee

    • Mehrere Feed-Forward-Netze dienen als Experten
    • Ein Routing-Netz berechnet Auswahlgewichte
    • Nur die ausgewählten Experten verarbeiten das jeweilige Token
    • Die Ergebnisse werden gewichtet zusammengeführt

    Vorteile

    • Hohe Modellkapazität bei begrenztem Rechenaufwand pro Token
    • Spezialisierung verschiedener Experten kann entstehen
    • Skalierung auf sehr große Parameterzahlen

    Herausforderungen

    • Ungleichmäßige Auslastung einzelner Experten
    • Hoher Kommunikationsaufwand über mehrere Beschleuniger
    • Komplexere Bereitstellung und Optimierung
    • Gesamtparameterzahl ist nicht direkt mit aktiv genutzten Parametern vergleichbar

    Einordnung

    MoE ist eine Architekturentscheidung und kein Beleg für bessere Qualität. Vergleichbar sind Modelle nur über konkrete Aufgaben, aktive Rechenkosten, Speicherbedarf und unabhängige Evaluationen.

    Primärquellen

  • AlphaEvolve: Algorithmen durch evolutionäre Codesuche

    AlphaEvolve sucht nach Programmen, die ein klar messbares Ziel verbessern. Kandidaten werden automatisch ausgeführt und bewertet; erfolgreiche Varianten dienen als Ausgangspunkt für weitere Vorschläge. Ergebnisse sind besonders belastbar, wenn die Bewertungsfunktion die Aufgabe vollständig abbildet.

    Forschungsfrage

    Können Sprachmodelle nicht nur Code schreiben, sondern durch wiederholte, automatisch bewertete Variation neue und effizientere Algorithmen entdecken?

    Ansatz

    • Mehrere Sprachmodelle schlagen Programmvarianten vor
    • Automatische Evaluatoren messen Korrektheit oder Leistung
    • Eine evolutionäre Datenbank wählt vielversprechende Kandidaten
    • Neue Generationen verändern und kombinieren erfolgreiche Programme

    Berichtete Anwendungen

    • Optimierung von Rechenzentrums- und Planungsalgorithmen
    • Beiträge zu Chipdesign und KI-Training
    • Neue Varianten für Matrixmultiplikation
    • Suche nach Lösungen mathematischer Probleme

    Warum das überprüfbarer ist

    Die Ausgabe besteht aus ausführbarem Code. Dieser kann mit Tests, Benchmarks oder mathematischen Prüfungen bewertet werden. Das reduziert, aber beseitigt nicht die Gefahr einer unvollständigen Bewertungsfunktion.

    Grenzen

    • Die Aufgabe benötigt eine verlässliche maschinelle Bewertungsfunktion
    • Optimierung kann unbeabsichtigte Lücken im Messverfahren ausnutzen
    • Entdeckter Code muss von Fachleuten verstanden, getestet und abgesichert werden

    Status

    Aktives Forschungssystem; konkrete Zugänglichkeit und Einsatzbereiche sind begrenzt und können sich ändern.

    Primärquellen

  • FunSearch: Programme als mathematische Entdeckungen

    FunSearch erzeugt Programme, deren Qualität objektiv berechnet werden kann. Auf diese Weise wurden neue Konstruktionen für das Cap-Set-Problem und Heuristiken für Online-Bin-Packing gefunden. Die Methode funktioniert nur bei Problemen, die sinnvoll als Programm und Bewertung formuliert werden können.

    Forschungsfrage

    Kann ein Sprachmodell durch automatische Prüfung zu neuen, menschlich interpretierbaren Lösungen in Mathematik und Informatik beitragen?

    Ansatz

    • Ein Ausgangsprogramm und eine Bewertungsfunktion definieren das Problem
    • Das Sprachmodell verändert ausgewählte Programme
    • Jede Variante wird ausgeführt und bewertet
    • Gute und unterschiedliche Lösungen fließen in neue Generationen ein

    Veröffentlichte Ergebnisse

    • Neue große Cap Sets in bestimmten Dimensionen
    • Verbesserte Heuristiken für das Online-Bin-Packing
    • Ausgabe als kompakte Programme, die von Forschenden analysiert werden können

    Bedeutung

    Die Kombination aus generativer Suche und strenger automatischer Bewertung zeigt einen Weg, wie Sprachmodelle über bloße Textvorschläge hinaus zu überprüfbaren Resultaten beitragen können.

    Grenzen

    • Nicht jedes Forschungsproblem besitzt eine vollständige Bewertungsfunktion
    • Eine hohe Punktzahl kann Nebenbedingungen übersehen
    • Mathematische Interpretation und formale Prüfung bleiben erforderlich

    Primärquellen

  • KI-Agenten: planen, handeln und Ergebnisse prüfen

    Ein KI-Agent beantwortet nicht nur eine einzelne Eingabe. Er kann ein Ziel in Schritte zerlegen, Werkzeuge aufrufen, Zwischenergebnisse auswerten und seinen Plan anpassen. Autonomie bedeutet dabei nicht Zuverlässigkeit: Berechtigungen, Grenzen und menschliche Kontrolle bleiben entscheidend.

    Einfach erklärt

    Ein Chatbot liefert gewöhnlich eine Antwort. Ein Agent versucht dagegen, eine Aufgabe über mehrere Schritte zu erledigen. Er kann beispielsweise Informationen suchen, eine Datei bearbeiten und danach prüfen, ob das Ergebnis zum Ziel passt.

    Typischer Ablauf

    1. Ziel und verfügbare Werkzeuge erfassen
    2. Nächsten sinnvollen Schritt auswählen
    3. Werkzeug ausführen und Ergebnis zurücklesen
    4. Plan anhand des Ergebnisses anpassen
    5. Bei Unsicherheit nachfragen oder an einen Menschen übergeben

    Fortgeschritten

    Agentische Systeme bestehen häufig aus einem Sprachmodell, einem Orchestrierungsprogramm, Werkzeugdefinitionen, einem Arbeitsgedächtnis und Regeln für Abbruch oder Freigabe. In der Forschung verbindet ReAct sprachliches Schlussfolgern mit Aktionen in einer Umgebung.

    Was Agenten gut können

    • Mehrstufige Recherche mit klaren Quellenregeln
    • Wiederholbare Bearbeitung vieler ähnlicher Dateien
    • Softwareentwicklung mit Tests und Versionskontrolle
    • Koordination klar definierter Geschäftsprozesse

    Grenzen und Risiken

    • Fehler können sich über mehrere Schritte fortpflanzen
    • Werkzeuge können reale Daten verändern oder Kosten verursachen
    • Unklare Ziele führen zu unnötigen oder falschen Aktionen
    • Lange Aufgaben benötigen Zustandskontrolle, Protokolle und Abbruchkriterien

    Sichere Gestaltung

    • Nur notwendige Berechtigungen vergeben
    • Kritische Aktionen bestätigen lassen
    • Eingaben und Werkzeugergebnisse validieren
    • Jeden Schritt protokollieren
    • Klare Übergabe an Menschen vorsehen

    Primärquellen

  • Workflows und Agenten: der wichtige Unterschied

    Nicht jede Automatisierung braucht einen autonomen Agenten. Vorhersehbare Aufgaben sind mit festen Workflows oft günstiger, kontrollierbarer und leichter zu testen. Agenten sind vor allem dann sinnvoll, wenn der Lösungsweg nicht vollständig im Voraus festgelegt werden kann.

    Einfach erklärt

    Ein Workflow ist wie ein Rezept mit festen Schritten. Ein Agent ist eher wie eine Fachkraft, die ein Ziel erhält und innerhalb vorgegebener Grenzen entscheidet, welche Schritte nötig sind.

    Typische Workflow-Muster

    • Nacheinander ausgeführte Schritte
    • Verzweigung nach festen Regeln
    • Mehrere Modelle arbeiten parallel
    • Eine Instanz bewertet das Ergebnis einer anderen
    • Menschliche Freigabe an definierten Punkten

    Wann ein Workflow genügt

    • Eingaben und Ausgaben sind klar definiert
    • Der Prozess ändert sich selten
    • Fehler müssen leicht nachvollziehbar sein
    • Rechtliche oder finanzielle Risiken verlangen feste Kontrollen

    Wann ein Agent sinnvoll sein kann

    • Die Aufgabe erfordert flexible Recherche
    • Unterschiedliche Werkzeuge müssen situationsabhängig kombiniert werden
    • Zwischenergebnisse verändern den weiteren Lösungsweg
    • Es gibt eine messbare Erfolgsbedingung und sichere Grenzen

    Praxisregel

    Zuerst den einfachsten kontrollierbaren Workflow bauen. Agentische Entscheidungen nur dort ergänzen, wo feste Regeln den tatsächlichen Varianten nicht gerecht werden.

    Primärquellen

  • Tool Use und Function Calling

    Beim Function Calling führt das Modell nicht selbstständig eine Datenbankabfrage oder Bestellung aus. Es erzeugt einen strukturierten Aufruf mit Werkzeugname und Argumenten. Die umgebende Software prüft diese Angaben, führt die Funktion aus und gibt das Ergebnis an das Modell zurück.

    Einfach erklärt

    Das Modell erhält eine Liste erlaubter Werkzeuge. Statt eine Antwort zu erfinden, kann es beispielsweise anfordern: „Wetterdaten für Berlin abrufen“. Das Programm entscheidet, ob der Aufruf zulässig ist, und liefert die echten Daten zurück.

    Technischer Ablauf

    1. Entwickler beschreibt Werkzeug, Parameter und Datentypen
    2. Modell erzeugt einen strukturierten Aufruf
    3. Anwendung validiert Berechtigung und Argumente
    4. Server führt die eigentliche Funktion aus
    5. Ergebnis wird als Werkzeugresultat an das Modell zurückgegeben
    6. Modell formuliert daraus die Antwort

    Vorteile

    • Aktuelle oder interne Daten können eingebunden werden
    • Ausgaben lassen sich durch Schemas besser strukturieren
    • Reale Aktionen werden vom Anwendungscode kontrolliert
    • Ein Modell kann mehrere spezialisierte Systeme koordinieren

    Sicherheitsregeln

    • Argumente niemals ungeprüft ausführen
    • Schreibende und löschende Funktionen besonders schützen
    • Zugriffsrechte pro Nutzer und Vorgang prüfen
    • Werkzeugergebnisse als nicht vertrauenswürdige Eingabe behandeln
    • Zeitlimits, Kostenlimits und Protokollierung einsetzen

    Abgrenzung

    Tool Use ist ein Baustein. Erst eine Schleife aus Planung, Werkzeugaufruf, Beobachtung und Anpassung macht daraus ein agentisches System.

    Primärquellen