Nach dem Go-Live, wenn sich das Implementierungsteam und der Lenkungsausschuss zurückgezogen haben, rückt die Governance in den Fokus. Je nachdem, wie gut ein Unternehmen vorbereitet ist, beeinflussen Qualität und Tiefe dieser Governance häufig den weiteren Verlauf einer KI-Implementierung am stärksten.
Als Deloitte 3’235 IT- und Unternehmensverantwortliche in 24 Ländern befragte, stellte das Unternehmen fest, dass rund 80 % von ihnen nicht über ausgereifte Governance-Fähigkeiten für agentische KI verfügen. Zu diesen Fähigkeiten gehören typischerweise real-time Monitoring, das ungewöhnliches Verhalten von KI-Agenten kennzeichnet, sowie Audit-Trails für die gesamte Kette der Aktionen eines KI-Agenten.
Wenn unzureichende Governance das Leiden ist, gehört die Kontrolle der KI-Ausgaben zu den wichtigsten Symptomen. Die Ausgaben sind jedoch nur das sichtbarste davon. In diesem Blogbeitrag beleuchten wir vier Problembereiche, die während der Implementierung häufig zu wenig berücksichtigt werden.
Modelle verändern sich, erneute Tests folgen selten
Bei vielen KI-Implementierungen in Unternehmen stammt das zugrunde liegende Modell von einem Drittanbieter. Was geschieht, wenn dieses Modell aktualisiert oder ausgetauscht wird? Die beim Go-Live abgenommene Akzeptanzprüfung verliert an Aussagekraft. Erneute Tests mit dem neuen Modell erfordern Planung und Ressourcen, die zuvor nicht ausreichend berücksichtigt wurden.
Forscher untersuchten erneut 85 Studien aus dem Jahr 2024, die kommerzielle Large Language Models (LLMs) verwendet hatten, und versuchten, diese nochmals durchzuführen. Bei fünf Studien waren die Artefakte vollständig genug für die Ausführung, doch keine der fünf liess sich vollständig reproduzieren. In mindestens vier weiteren Fällen war das Modell, von dem die Arbeit abhing, bereits vollständig eingestellt worden.
Nubank, die brasilianische Digitalbank, setzt Kundenservice-Agenten für mehr als 100 Millionen Kunden ein. Das Engineering-Team veröffentlichte, was geschah, als es diese Agenten auf ein neueres Modell umstellte. Kurz gesagt: Das neuere Modell befolgte Anweisungen strenger und rief vor einer Antwort keine kontextbezogenen Tools mehr auf, ausser wenn es ausdrücklich dazu aufgefordert wurde. Die Prompts mussten überarbeitet werden, bevor das Upgrade bessere Ergebnisse erzielte als das ersetzte Modell.
Fazit: Wenn sich KI-Modelle verändern, weiterentwickeln und durch neuere Versionen ersetzt werden, muss jemand die Verantwortung für die erneute Validierung übernehmen.
Für die unverzichtbare Wissensdatenbank fehlt eine klare Verantwortung
Eine KI-Implementierung im Contact Center verfügt höchstwahrscheinlich über eine Retrieval-Schicht, die mit Wissensartikeln, Richtliniendokumenten und weiteren gängigen Inhalten aus Wissensdatenbanken gespeist wird. Während dieser Wissensbestand im Zuge des Go-Live viel Aufmerksamkeit erhielt, ist er seither möglicherweise stehen geblieben.
Forscher der Universität Bayreuth und des KIT befragten 16 Praktiker bei zwei der weltweit grössten IT-Dienstleistungsunternehmen. Sie untersuchten, wo Qualitätsprobleme in Retrieval-Augmented-Systemen auftreten. Anhand dieser Interviews konnten die Forscher 15 Qualitätsdimensionen über die vier Verarbeitungsphasen hinweg abbilden. Sie stellten fest, dass sich die Probleme am Anfang des Prozesses konzentrierten.
Allein auf die Datenextraktion entfielen 73 codierte Herausforderungen, gegenüber 15 bis 24 in jeder nachgelagerten Phase. Die Forschung deutet stark darauf hin, dass sich Fehler in der Extraktionsphase tendenziell auf alles auswirken, was damit verbunden ist. Gartner fasste das Problem in eindeutige Zahlen: Das Unternehmen erwartet, dass Organisationen bis Ende 2026 60 % der KI-Projekte ohne KI-taugliche Daten aufgeben werden.
Fazit: Das Contact Center verfügt häufig über mehr nutzbares Wissen über den Kunden als fast jeder andere Unternehmensbereich. Damit eine KI-Implementierung dauerhaft erfolgreich bleibt, muss jemand die Verantwortung für Pflege und Vollständigkeit dieses Wissens übernehmen.
Compliance erhält eine neue Bedeutung
Am 2. August 2026 traten die Transparenzpflichten nach Artikel 50 des EU AI Act in Kraft. Die Kommission verlangt, dass Nutzer klar darüber informiert werden, wenn sie nicht mit einer realen Person interagieren, und nennt Chatbots und KI-Agenten ausdrücklich als betroffene Systeme. Bei Nichteinhaltung können Strafen von bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes verhängt werden.
Neue Richtlinien, die am 20. Juli 2026 veröffentlicht wurden, legen fest, wie Nutzer informiert werden müssen. Der Hinweis muss klar und unterscheidbar sein und spätestens bei der ersten Interaktion erfolgen.
Es gibt keine allgemeine Übergangsfrist. Anbieter generativer Systeme, die bereits vor dem 2. August auf dem Markt waren, haben bis zum 2. Dezember 2026 Zeit, die Kennzeichnungspflicht zu erfüllen. Diese Verlängerung wurde im Rahmen des AI Omnibus gewährt und betrifft ausschliesslich die maschinenlesbare Kennzeichnung KI-generierter Inhalte.
Artikel 5 reicht weiter zurück und verbietet KI-Systeme, die am Arbeitsplatz die Emotionen einer Person ableiten, mit einer eng begrenzten Ausnahme für medizinische oder sicherheitsbezogene Zwecke. Dieses Verbot gilt seit Februar 2025. Seit August 2026 setzt das AI Office den EU AI Act gemeinsam mit nationalen Behörden durch. Das Verbot umfasst die Emotionserkennung bei Arbeitnehmern. Damit fällt eine real-time Sentiment-Analyse der eigenen Agenten in die höchste Strafkategorie.
Fazit: Compliance wird häufig als Hürde betrachtet, die vor dem Go-Live zu überwinden ist. Artikel 26 verpflichtet Betreiber, Logs aufzubewahren und während der gesamten Betriebsdauer des Systems eine kompetente menschliche Aufsicht sicherzustellen. Die Vorschriften verlangen nun ein Monitoring, das Organisationen häufig fehlt.
Die Akzeptanz kann nachlassen
Ein Akzeptanz-Dashboard, das Sitzungen zählt, bildet die tägliche Realität der Nutzung durch Agenten möglicherweise nicht ab. Die häufig zitierte Feldstudie zur KI-Unterstützung im Kundenservice begleitete 5’172 Agenten. Die Agenten folgten den Empfehlungen der KI in 38 % der Fälle. Mit anderen Worten: Agenten ignorieren Empfehlungen häufig.
In einer Gallup-Umfrage vom Februar 2026 unter 23’717 US-Angestellten, deren Arbeitgeber KI bereitgestellt hatte und die diese nicht nutzten, gaben 46 % an, lieber wie bisher weiterarbeiten zu wollen. 26 % fanden KI für ihre Rolle nicht hilfreich.
Zusammengenommen zeichnen diese Ergebnisse das Bild menschlicher Agenten, die KI-Vorschläge ignorieren, nachdem sie diese im Kontext des jeweiligen Kunden abgewogen und als unzureichend beurteilt haben. Dieses Urteil kann für ein Contact Center wie eine kontinuierliche Qualitätsbewertung wirken, sofern die Mittel und Systeme vorhanden sind, um es zu erfassen.
Fazit: Bei genauerer Betrachtung können Akzeptanzzahlen eine andere Geschichte erzählen. Wie oft bewährt sich ein KI-Vorschlag im Kontakt mit einem realen Kunden?
Fragen, die sich nach dem Go-Live zu stellen lohnen
Zwölf Monate nach Beginn einer KI-Implementierung sollte ein Serviceverantwortlicher vier Fragen beantworten können:
- Wann wurde das zugrunde liegende Modell zuletzt geändert, und wer hat die Änderungen getestet?
- Wer ist für die Inhalte verantwortlich, auf denen die Antworten unserer KI basieren, und wie häufig werden sie aktualisiert?
- Welche Compliance-Pflichten sind seit dem Go-Live hinzugekommen, und wer ist für deren Umsetzung verantwortlich?
- Welchen Anteil der KI-Vorschläge nutzen unsere Agenten, und in welche Richtung entwickelt sich dieser Wert?
Inwieweit diese Fragen beantwortet werden können, zeigt, wie die Situation Monate oder Jahre nach dem Go-Live aussieht. Viele Contact Center stellen fest, dass dem Verhalten und der Leistung des Systems stärker vertraut wird, als ursprünglich beabsichtigt war.
