KI-Agenten & Zuverlässigkeit

Alles sortiert, keiner zuständig

Eine KI sortiert das gemeinsame Postfach tadellos, bis eine E-Mail Vertrieb und Buchhaltung zugleich braucht. Wie Prompt-Schulden entstehen und was hilft.

AI Leadership Journal
Drei Ablagen voller unbeschrifteter Briefumschläge unter einem türkisfarbenen Netz aus Linien; ein Umschlag liegt quer über zwei Ablagen.

Angenommen, ich führe ein kleines Unternehmen und überlasse einer KI das gemeinsame Postfach. „Können Sie mir ein Angebot schicken?“ geht an den Vertrieb. „Mir wurde doppelt abgebucht“ geht an die Buchhaltung. „Ich kann mich nicht anmelden“ geht an den Support. Drei E-Mails, drei vernünftige Entscheidungen. Die Demo überzeugt, und ich sehe schon, wie viele Stunden mir die KI spart.

Dann kommt am Montagmorgen das hier:

Betreff: AW: Angebot zur Verlängerung

Hallo Lea, ja, wir möchten verlängern. Bevor ich unterschreibe: Kann sich bitte jemand um die doppelte Abbuchung für unsere letzte Rechnung kümmern? Ich hatte schon am Donnerstag danach gefragt.

Die KI schickt die E-Mail an den Vertrieb. Die Überlegung dahinter kann ich nachvollziehen. Ich sehe aber auch, warum der Kunde bald ein drittes Mal nachfragen wird.

Lea im Vertrieb hat eine Verlängerung abzuschließen. Die Buchhaltung hat eine doppelte Abbuchung zu klären. Die drei E-Mails aus der Demo ließen sich jeweils sauber einer Abteilung zuordnen. Diese hier macht zwei Abteilungen Arbeit und lässt einen Menschen, der schon einmal nachgefragt hat, auf eine Antwort warten.

Gut gemeint, Zeile für Zeile

Im Lauf eines Jahres ist in den Anweisungen für die KI einiges zusammengekommen. Jede Zeile hatte einen guten Grund.

Eine E-Mail landet beim falschen Team, also ergänze ich: „Vor dem Zuweisen noch einmal prüfen, ob das Team stimmt.“ Dann übersieht die KI eine Bitte mitten in einem langen Verlauf. Na gut, noch eine Zeile: „Gründlich sein. Den gesamten Verlauf lesen.“

Eine Kollegin wünscht sich einheitlichere Ergebnisse, also wird das Verfahren aufgeschrieben: Verlauf zusammenfassen, beteiligte Teams auflisten, die Wahl begründen, die Nachricht zuweisen. Dann kommen Beispiele dazu, direkt hineinkopiert. Im einen geht eine Verlängerung an den Vertrieb, im anderen eine strittige Abbuchung an die Buchhaltung. Der Kunde vom Montag hat nun die Stirn, beides in einem Satz zu verlangen.

Nichts davon war unvernünftig. Solange man jeden Schritt selbst überwachen musste, half es, die Schritte aufzuschreiben. Und eine schriftliche Spezifikation hilft weiterhin, wenn sich Vertrieb und Buchhaltung einigen müssen, wer wofür zuständig ist. Das Problem: Die Zeilen bleiben, lange nachdem ihr Anlass weggefallen ist.

Lance Martin, Ingenieur bei Anthropic, zählt in einem Vortrag über alte Prompts genau diese Gewohnheiten auf: Prüfrituale („verification rituals, double check your work“), Appelle an die Gründlichkeit („be maximally thorough“), Schritt-für-Schritt-Vorgaben und Berge von Beispielen. All das stammt aus der Arbeit mit früheren Modellen. Martins Fazit: Prompts häufen Schulden an wie Code („prompts accumulate debt just like code“). Das sind Prompt-Schulden. In seinen Tests erhöhten solche Zusatzanweisungen die Kosten und verschlechterten teils die Leistung („it actually increases cost and can reduce performance“).

Diagramm: Vier Kästen zeigen, wie die Anweisungen gewachsen sind. Auf eine falsch zugewiesene E-Mail folgt die Zeile „Vor dem Zuweisen noch einmal prüfen, ob das Team stimmt“, auf eine übersehene Bitte die Zeile „Gründlich sein. Den gesamten Verlauf lesen“. Danach kommen das Verfahren in vier Schritten und Beispiele für Vertrieb und Buchhaltung hinzu. Jede Zeile hatte ihren Anlass, und mit jeder wurden die Anweisungen länger.

Im Postfach sieht man die Kosten sofort. Fordert als Nächstes jemand nur eine Rechnungskopie an, arbeitet die KI trotzdem das komplette Verfahren ab: eine Zusammenfassung des Verlaufs, eine Liste der Teams, eine begründete Wahl, eine Zuweisung. Bei der wirklich schwierigen E-Mail dagegen hat die KI genug Material, um überzeugend für jedes der beiden Teams zu argumentieren. Wer schuldet dem Kunden eine Antwort? Dazu steht in all den Anweisungen kein Wort.

Damit stellt sich eine andere Frage: Welche Entscheidungen kann ich inzwischen dem KI-Agenten überlassen, und welche kann nur das Unternehmen treffen?

Eine Regel, die nur Sie festlegen können

In diesem Beispielunternehmen treffe ich eine einzige Entscheidung: Lea ist für die Antwort zur Verlängerung zuständig. Die Buchhaltung klärt die Abbuchung. Ein anderes Unternehmen könnte das anders regeln. Die Entscheidung muss sichtbar sein, denn keine noch so gute Argumentation kann eine Regel herleiten, auf die sich nie jemand geeinigt hat.

Den neuen Auftrag schreibe ich so auf:

Jede Kundenanfrage bekommt genau eine Person, die für die nächste Antwort zuständig ist. Muss ein anderes Team etwas klären, bekommt es eine verknüpfte Aufgabe. Die Anfrage bleibt offen, bis der Kunde eine Antwort hat.

Den Kontext bekommt der Agent dann, wenn er ihn braucht. „Ich hatte schon am Donnerstag danach gefragt“ ist ein Anlass, im Verlauf zurückzublättern. Der Kundendatensatz zeigt, ob Lea die Verlängerung noch betreut. Wie der Agent nachforscht, entscheidet er selbst. Das Unternehmen liefert die Regel, den Zugriff auf die Informationen und eine Prüfung, ob die Zuordnung abgeschlossen ist.

Lydia Hallie, die am Coding-Agenten von Anthropic arbeitet, zieht eine ähnliche Grenze. Dauerhafte Anweisungen sollten nach ihrer Darstellung nur enthalten, was das Modell nicht selbst herausfinden kann. Wo mehrere Ergebnisse gleichermaßen vernünftig wirken („look pretty reasonable“), legt der Mensch fest, woran man erkennt, dass die Arbeit erledigt ist („what done looks like“), und macht daraus eine Prüfung. Denn eine Anweisung im Prompt garantiert nicht, dass das Modell sie auch befolgt („prompting is not a guarantee that a model will do it“). Nach diesem Maßstab hat das Vier-Schritte-Verfahren ausgedient. Die Regel zur Zuständigkeit bleibt schriftlich festgehalten.

Diagramm: Oben steht, was schriftlich bleibt, nämlich die Regel zur Zuständigkeit: Lea ist für die Antwort zur Verlängerung zuständig, die Buchhaltung klärt die Abbuchung. Darunter sind die vier Schritte des Verfahrens durchgestrichen, mit dem Vermerk, dass es ausgedient hat. Was nur das Unternehmen entscheiden kann, bleibt schriftlich; das Vier-Schritte-Verfahren hat ausgedient.

Montag, zweiter Anlauf

Diesmal bearbeitet der Agent die E-Mail vom Montag nach dem neuen Auftrag. Er findet Lea im Kundendatensatz, setzt sie in Kopie und legt eine Aufgabe für die Buchhaltung an. Dann öffnet er den Vorgang, um seine Arbeit zu prüfen.

Aufgabe Buchhaltung: zugewiesen. Zuständig für die Antwort: leer.

Hier lohnt es sich, kurz innezuhalten. Wer schon einmal bei einer E-Mail in Kopie stand, weiß, was schiefgelaufen ist. Durch die Kopie ist Lea im Bild; zuständig für die Antwort ist sie damit aber noch nicht. Der Agent trägt Lea als Zuständige ein, öffnet den Vorgang erneut und vergewissert sich, dass beide Zuweisungen vorhanden sind.

Die Zuordnung ist abgeschlossen. Der Kunde wartet noch. Die Anfrage bleibt offen. Damit ist der Auftrag des Agenten erledigt, und nichts daran ist geschönt. Zugleich zeigt sich hier genau, was ein Agent-Loop ist: Der Agent hat etwas versucht, gesehen, was passiert ist, einen Fehler korrigiert und noch einmal geprüft.

Diagramm: Bei der ersten Prüfung ist die Aufgabe für die Buchhaltung zugewiesen, aber niemand für die Antwort zuständig. Der Agent trägt Lea als Zuständige ein; die zweite Prüfung zeigt beide Zuweisungen und eine Anfrage, die offen bleibt. Darunter steht die E-Mail vom Montag als gespeicherter Test mit drei Fragen: Ist Lea für die Antwort zuständig? Liegt die Klärung bei der Buchhaltung? Ist die Anfrage noch offen? Der Agent trägt die fehlende Zuständigkeit nach; danach lässt sich die E-Mail vom Montag als Test speichern.

Ein letzter Schritt: Die E-Mail vom Montag wird als Test gespeichert. Wenn das nächste Mal jemand die Anweisungen ändert oder das Modell wechselt, läuft der Test erneut. Ist Lea für die Antwort zuständig? Liegt die Klärung bei der Buchhaltung? Ist die Anfrage noch offen? Martin beschreibt Teams, die echte Fehler aus dem Betrieb genauso behandeln und die zugehörigen Fälle in Regressionstests übernehmen, sobald die Prüfungen zeigen, dass die Korrektur wirkt („putting those in regression tests once they all pass“). So ist ein alter Fehler besser aufgehoben als in einem weiteren Absatz, der für immer im Prompt stehen bleibt.

Welche E-Mail aus der vergangenen Woche würden Sie in Ihre nächste Demo aufnehmen?