Computersteuernde Agenten können Software bedienen, für die keine geeignete Programmierschnittstelle vorhanden ist. Sie sehen jedoch nur eine Darstellung der Oberfläche und können Schaltflächen, Zustände oder Warnungen falsch interpretieren. Deshalb sind isolierte Umgebungen und Bestätigungen besonders wichtig.
Einfach erklärt
Das System erhält regelmäßig ein Bildschirmbild. Es entscheidet, wohin geklickt oder welcher Text eingegeben werden soll. Danach sieht es den neuen Zustand und setzt die Aufgabe fort.
Geeignete Aufgaben
- Daten zwischen älteren Programmen übertragen
- Formulare mit überprüften Angaben ausfüllen
- Wiederkehrende Klickfolgen in Testumgebungen ausführen
- Softwaretests aus Sicht eines Benutzers unterstützen
Warum APIs vorzuziehen sind
Eine API liefert klar strukturierte Zustände und Befehle. Grafische Oberflächen verändern sich, enthalten Werbung oder uneindeutige Elemente und sind deshalb fehleranfälliger. Computer Use ist meist eine Ausweichlösung.
Besondere Risiken
- Prompt Injection durch Inhalte auf Webseiten oder in Dokumenten
- Klick auf falsche oder täuschend gestaltete Elemente
- Übertragung vertraulicher Daten in fremde Felder
- Unbeabsichtigte Käufe, Veröffentlichungen oder Löschungen
- Schwierige Wiederherstellung nach einer Fehlaktion
Schutzmaßnahmen
- Virtuelle oder isolierte Umgebung verwenden
- Zugriff auf notwendige Websites und Programme begrenzen
- Zahlungen, Versand und Löschen immer bestätigen lassen
- Passwörter nicht sichtbar in den Arbeitsbereich legen
- Screenshots und Aktionen revisionssicher protokollieren