Agentic AI beschreibt KI-Systeme, die nicht nur auf einzelne Anfragen reagieren, sondern zielgerichtet handeln: Sie planen Teilschritte, beschaffen Informationen und treffen Entscheidungen. Im Contact Center entsteht daraus ein sprechender Assistent, der Anliegen versteht und Aufgaben tatsächlich erledigt. Das eröffnet große Chancen, verändert aber auch, was Qualitätssicherung leisten muss. Evaluation wird damit vom Nice-to-have zur Grundvoraussetzung
AI Agents können Teilschritte planen, Informationen beschaffen, Entscheidungen treffen (z. B. „welches System ist zuständig?“), Zwischenergebnisse prüfen und daraus den nächsten sinnvollen Schritt ableiten. So entsteht ein handlungsfähiger Assistent, der Aufgaben tatsächlich erledigt.
Für ein präzises Verständnis hilft eine kurze Einordnung: Ein AI-Agent ist typischerweise die Kombination aus einem Sprachmodell (LLM) plus Werkzeugen (APIs/Workflows), Wissenszugriff (z. B. Knowledge Base, CRM-Daten), Zustand/Memory (für Kontext über mehrere Schritte) sowie Policies und Guardrails, die festlegen, was erlaubt ist und wie Ergebnisse abgesichert werden. „Agentic AI“ meint damit weniger ein einzelnes Modell, sondern ein Systemdesign, das Verstehen, Planen und Ausführen in kontrollierter Form zusammenbringt.
Im Contact Center kommt eine Besonderheit hinzu: Der Kanal ist häufig gesprochene Sprache. Moderne Voice-Agenten setzen dabei auf Speech-to-Speech-Modelle, die gesprochene Eingaben direkt in gesprochene Antworten überführen. Sie führen zu geringerer Latenz, natürlicherem Sprechverhalten und einem besseren Umgang mit Betonung, Unterbrechungen und Gesprächsdynamik. Je nach Aufbau können sie über mehrere Stages verfügen oder ein stärkeres Modell im Hintergrund haben, welches das Denken übernimmt. Egal wie sie technisch eingebettet werden: Erst durch Werkzeuge – Ticketanlage, Status-Lookup, Terminbuchung – wird aus einem sprechenden Modell ein handelnder Agent.
Wichtig ist auch: „Agentisch“ bedeutet nicht „unkontrolliert autonom“. In professionellen Umgebungen arbeitet ein Agent innerhalb klarer Leitplanken. Dazu gehören klar definierte Datenquellen, Berechtigungen und möglicherweise menschliche Freigaben oder Human-in-the-Loop. Gerade diese kontrollierte Umgebung macht Agentic AI für produktive Automatisierung relevant.
Schluss mit starren Prozesspfaden
Der zentrale Vorteil: Automatisierung wird flexibler, weil sie nicht ausschließlich an vorgeplanten Pfaden hängt. Klassische Automatisierung ist stark, wo Prozesse eindeutig und deterministisch sind. In Service und Support sind Anforderungen jedoch oft unklar und unstrukturiert: Nutzer beschreiben ihr Anliegen unterschiedlich, Informationen fehlen, Fälle variieren und der nötige Kontext liegt über mehrere Systeme verteilt. Genau hier spielen AI Agents ihre Stärke aus. Sie kommen mit natürlicher Sprache zurecht, fragen fehlende Angaben gezielt nach, führen Wissen aus mehreren Quellen zusammen und steuern den Prozess dynamisch – um das Ergebnis anschließend an definierte Workflows zu übergeben.
Das ist besonders relevant für Wissens- und Serviceprozesse, die viel Kontext benötigen: etwa Support und Reklamation, Lead-Qualifizierung, Termin- und Ticketprozesse, Wissensabfragen oder die Orchestrierung mehrerer Systeme (CRM, ERP, Knowledge Base, Ticketing).
Im Vergleich zu regelbasierten Bots ist der Unterschied spürbar: Regelbasierte Systeme funktionieren wie Entscheidungsbäume („wenn Nutzer X sagt, antworte Y“). Das ist zuverlässig, aber unflexibel: Schon kleine Abweichungen in Formulierungen oder unerwartete Situationen führen zu Sackgassen oder Eskalationen. Agentic AI kann sich dagegen an Fallkontexte anpassen. Statt jeden Dialogpfad vorab vorzugeben, beschreibt man Zielzustände, Regelwerke, Guardrails und verfügbare Tools – und der Agent findet im Rahmen dieser Leitplanken einen passenden Weg.
Ein kompetentes Gegenüber
Am deutlichsten wird der Unterschied in der Nutzererfahrung. Statt sich an die Logik eines Systems anzupassen („Bitte wählen Sie 1, 2 oder 3“), können Nutzer ihr Anliegen so formulieren, wie sie es meinen. Ein agentisches System führt durch den Prozess, stellt präzise Rückfragen, fasst Zwischenergebnisse zusammen und übernimmt Aktionen im Hintergrund: das Anlegen oder Aktualisieren eines Tickets, das Nachschlagen eines Vertrags- oder Lieferstatus, das Auslösen eines Rückrufs oder das Pflegen von Stammdaten. Das wirkt weniger wie der Dialog mit einem Formular und mehr wie ein Gespräch mit einem kompetenten Gegenüber – schneller, natürlicher und mit weniger Reibung.
Gleichzeitig gilt: Viele heute im Einsatz befindliche Lösungen sind Zwischenstufen. Sie nutzen zwar bereits LLMs, um Antworten flüssiger zu formulieren oder Intents besser zu erkennen, folgen aber weiterhin relativ starren Kommunikationsmustern und vordefinierten Abläufen. Das Ergebnis sind Bots, die spürbar souveräner wirken – und in vielen Fällen bereits messbare Verbesserungen bringen, etwa bei Verständnis, Tonalität und der Fähigkeit, Informationen zusammenzufassen. In Situationen, die vom erwarteten Ablauf abweichen, zeigen sich jedoch weiterhin Grenzen: Planung über mehrere Schritte, zuverlässige Tool-Orchestrierung und sauberes Nachfassen bei Unklarheiten sind oft noch nicht durchgängig gelöst. Agentic AI lässt sich vor diesem Hintergrund als nächste Entwicklungsstufe verstehen.
Unverzichtbar: Evaluation als fortlaufender Prozess
Genau diese Flexibilität bringt eine zentrale Herausforderung mit sich: AI Agents sind nicht deterministisch. Schon kleine Veränderungen – eine andere Formulierung der Nutzerfrage, eine neue Dokumentversion, ein Modell-Update, ein geänderter Tool-Endpoint oder schlicht Sampling-Varianz – können zu anderen Ergebnissen führen. Dazu kommt eine offene Eingabewelt: Nutzer stellen nicht nur die Fragen, die wir erwartet haben. Sie loten Grenzen aus, formulieren unvollständig, widersprechen sich oder liefern Informationen, die mit den Policies kollidieren.
Verlässlich beherrschbar wird das nur durch Kontrolle über Tools und Evaluation. Ein Evaluationsprozess beantwortet im Kern zwei Fragen
Launch-Readiness: Ist der AI Agent vor dem Livegang robust genug – funktional, qualitativ und sicher?
Quality-Monitoring: Bleibt der AI Agent nach dem Livegang stabil, oder entstehen Qualitätsdrift, Regressionen oder neue Risikomuster?
Launch-Readiness: Offline-Evaluation vor dem Livegang
Der Offline-Teil ist die „Simulator-Phase“. Hier werden AI Agents unter kontrollierten Bedingungen getestet, ehe reale Nutzer betroffen sind. Das Ziel ist nicht Perfektion, sondern beherrschbare Risiken, nachgewiesene Mindestqualität und klare Grenzen. Als erstes werden die notwendigen Evaluationskriterien, Ziele und Guardrails definiert. Es geht um Kriterien wie:
-
Welche Aufgaben muss der Agent zuverlässig lösen?
-
Welche Fehler sind tolerierbar, welche nicht?
-
Welche Mindestwerte (z. B. Erfolgsquote, „keine kritischen Safety-Verstöße“, maximale Latenz) sind Release-Bedingung?
Guardrails sind dabei Teil der Spezifikation, nicht nachträgliche Kosmetik. Dazu gehören Formulierungen von Rückfragen und klare Abbruch-/Fallback-Regeln.
Anschließend beginnt das Testing. Dabei gilt: Ein AI Agent muss nicht nur den „Happy Path“ beherrschen, sondern auch die Realität, also Sonderfälle, schwierige Nutzer, Grenzbedingungen. Deshalb braucht es ein Testset aus mehreren Klassen, die zu einem Teil durch KI-Simulationen erstellt werden können:
-
Reale Fragen und Dialogmuster (aus bekannten Use Cases, Pilotdaten, Fachexperten-Input)
-
„Gold“-Referenzen: erwartete Antworten oder erwartete Handlungsrouten
-
Edge Cases: unvollständige Informationen, widersprüchliche Angaben, Mehrdeutigkeiten, seltene Formate
-
Bösartige Testcases: Prompt-Injection-Versuche, unerlaubte Datenausgaben, manipulative Anweisungen
-
Komponenten-Tests: etwa Qualität der Wissensextraktion, Sicherheit der Toolnutzung, Router-Entscheidungen
Testen und Verbessern – und dann nochmal
Da AI Agents nicht deterministisch sind, genügt ein einzelner Durchlauf pro Testfall nicht. Mehrere Durchläufe machen die Streuung sichtbar: Liefert der Agent stabil ähnliche Qualität? Essenziell ist dabei Tracing und Logging: Für jeden Evaluationsdurchlauf sollte erfasst werden, wie der AI Agent zu seinem Ergebnis kam – inklusive Zwischenentscheidungen, Toolaufrufen, Kontext, Latenzen und Fehlermeldungen.
Die Ergebnisse müssen anschließend analysiert werden. Entscheidend ist nicht nur die Erfolgsrate, sondern die Erklärbarkeit: Wo genau ist der Agent gescheitert? War es der Wissensabruf, die falsche Nutzung eines Tools, eine falsche Entscheidung, eine Halluzination, eine fehlende Rückfrage oder ein Policy-Verstoß? Gute Traces machen den Unterschied zwischen „irgendwie schlecht“ und „konkret reparierbar“.
Evaluation ist eng an Verbesserung gekoppelt und zwar so lange, bis die Release-Kriterien erfüllt sind. Typische Maßnahmen sind:
-
Prompt-Verbesserungen
-
Modellvergleiche oder Modellwechsel
-
Optimierung der verwendeten Tools
-
Architekturanpassungen (z. B. Routingentscheidungen, Tooleinbindung)
Dieser Loop wird wiederholt, bis eine Version die definierten Launch-Kriterien erfüllt – und idealerweise in einem kontrollierten Rollout (z. B. A/B-Tests) weiter validiert werden kann.
Quality Monitoring im Live-Betrieb
Evaluation endet nicht mit dem Livegang – sie beginnt in gewisser Weise neu. Denn im Betrieb kommen neue Nutzerformulierungen hinzu, neue Daten, es können Störungen auftreten und über lange Zeit können sich Effekte wie inhaltlicher Drift oder veränderte Nutzererwartungen zeigen. Für das Monitoring braucht es das Tracing und Logging der realen Interaktionen. Dazu werden Daten benötigt wie:
-
Eingaben, Kontext, Output,
-
Toolaufrufe und Toolantworten,
-
Output, Latenz, Kosten, Fehlerraten.
Nur so können Probleme reproduziert werden. Wenn es negatives Feedback gibt, muss sich die Konversation inklusive Kontext nachstellen lassen. Im Sprachkanal gehört dazu idealerweise auch die Audioaufzeichnung, denn manche Fehler entstehen erst in der Erkennung und sind im reinen Transkript nicht mehr sichtbar.
Die wichtigsten Fälle werden nicht nur behoben, sondern in neue Testfälle übersetzt. So wächst das Offline-Testset entlang realer Fehlerbilder.
Guardrail Enforcement (Input & Output) als Sicherheitsnetz
Im Betrieb müssen Guardrails nicht nur definiert, sondern durchgesetzt und gemessen werden. Typische Ebenen sind:
-
Kontrolle über Tools ausüben. Das Modell entscheidet, wann ein Tool aufgerufen wird, aber im Tool wird deterministisch festgelegt, was wie passiert (z. B. bei Authentifizierung, Buchungen, Schreibzugriff).
-
Nur notwendige Informationen an den AI Agent (z. B. keine sensiblen Daten aus Tools, sondern vorher filtern)
-
Prompt-Policies (festlegen, wann der Agent sich wie verhalten soll und wie die Tools verwendet werden sollen)
Fazit: Evaluation holt das Beste aus AI Agents
AI Agents bieten enorme Vorteile: Sie beschleunigen Prozesse, entlasten Teams, erhöhen die Verfügbarkeit und orchestrieren komplexe Aufgaben in natürlicher Sprache. Gleichzeitig sind sie probabilistische Systeme in einer offenen Welt – im Sprachkanal zusätzlich unter dem Druck von Echtzeit und Erkennungsunsicherheit.
Ein robustes Evaluationsframework verbindet deshalb die Offline-Launch-Readiness mit dem Online-Monitoring im laufenden Betrieb. So entsteht ein iterativer Kreislauf, der Qualität messbar macht, Regressionen früh erkennt und Verbesserungen systematisch absichert. Genau dieser Kreislauf ist der Schlüssel, um AI Agents verlässlich und sicher produktiv zu betreiben.
Dr. Anja Linnenbürger
ist https://www.vier.ai/ Head of Research.
LinkedIn Dr. Anja Linnenbürger
