// HEISE ONLINE — INTELLIGENZA ARTIFICIALE
Sichere Architektur für KI-Agenten im Backoffice
KI-Agenten lassen sich nur sicher in Systeme einbinden, wenn die Architektur für eine Trennung von Daten und Handlungen sorgt.
Das Backoffice gilt als der blinde Fleck der Digitalisierung: In Buchhaltung, Einkauf und Lieferantenmanagement kämpfen die Mitarbeitenden oft noch mit E-Mail-Postfächern, PDF-Anhängen und manuellen Freigabeprozessen. Robotic Process Automation (RPA) soll diese Lücke schließen, arbeitet aber nur dort zuverlässig, wo Daten sauber strukturiert und Prozesse vorhersehbar sind. Die Abläufe im Backoffice erfüllen diese Voraussetzungen selten: Angestellte übermitteln als PDF eingescannte Rechnungen, Lieferanten schreiben formlose E-Mails und Gesprächspartner halten Vertragsänderungen in Notizen fest. Strukturierte Daten sind die Ausnahme.
Mahbouba ist Geschäftsführerin, Softwarearchitektin und Trainerin bei der ITech Progress GmbH, einem Beratungsunternehmen und akkreditierten Schulungsanbieter des iSAQB mit über zwanzig Jahren Erfahrung. Als Kuratorin des iSAQB-Advanced-Level-Moduls SWARC4AI vermittelt sie methodische und technische Konzepte für den Entwurf und die Entwicklung skalierbarer KI-Systeme. Dabei legt sie besonderen Wert auf praxisnahe, nachhaltige und anwendungsorientierte Lösungen. Darüber hinaus ist sie Gründerin und Leiterin der AG Künstliche Intelligenz des iSAQB, seit 2021 Mitglied im Beirat des Fachbereichs Informatik der Hochschule Worms und Autorin des Buches „Praxiswissen Softwarearchitektur für KI-Systeme“.
Dr. Sönke Magnussen bringt seine langjährige Erfahrung als IT-Architekt, IT-Consultant, Trainer und Projektleiter in Kundenprojekte der WPS ein. Darüber hinaus verfügt er über umfassende Expertise in der KI-gestützten Automatisierung und im Natural Language Processing. Als Kurator des iSAQB-Moduls SWARCAI gestaltet er zudem die Weiterbildung zur Softwarearchitektur für KI-Systeme mit. Sein Fokus liegt auf der zukunftsfähigen Transformation großer Systemlandschaften und Organisationen. Domain-driven Design (DDD) bildet dabei häufig das Fundament für eine angemessene IT-Architektur sowie dem richtigen Aufbau der IT-Organisation.
Auf LLMs basierende Agenten versprechen hier einen Durchbruch, denn sie können Absichten erkennen, Zusammenhänge verstehen und selbstständig die nächsten Handlungsschritte ableiten. Die Technik ist verfügbar und Anbieter wie Microsoft (Copilot), UiPath oder SAP (Joule Agents) werben mit beeindruckenden Demos.
Was die Beteiligten jedoch leicht übersehen, ist, dass die Agenten selbstständig mit echten Konsequenzen handeln, wodurch neue Risiken entstehen. Ein Beispiel: Die Buchhaltung eines Unternehmens erhält eine betrügerische Mail von einem Absender, der dem System bekannt ist. Er bittet um eine Änderung seiner Bankverbindung. Ein KI-Agent überwacht das Postfach und klassifiziert die Mail korrekt als „Bankdatenänderung eines bestehenden Lieferanten“. Er erkennt zudem die Dringlichkeit der Anfrage, da die nächste Zahlung bald fällig ist. Also ruft er das Tool zur Stammdatenänderung auf und aktualisiert den Datensatz. Die nächste Zahlung wird ausgelöst, erreicht aber den Betrüger im Ausland und nicht den rechtmäßigen Empfänger.
Wie lässt sich das verhindern? Die naheliegende Antwort wäre, dass der Agent die Mail hätte besser prüfen sollen, etwa mit strengeren, kontextbasierten Guardrails wie einer Anweisung, vor ungewöhnlichen IBANs zu warnen, oder mit einem besseren Prompt-Design.
Guardrails bezeichnen in diesem Artikel Regeln und Handlungsgrenzen, die ein KI-Agent über den Kontext seines Sprachmodells (LLM), etwa durch Systemanweisungen, erhält. Programmierte Kontrollen ordnen wir hingegen der algorithmischen Ausführung zu. Da das LLM Vorgaben aus Guardrails interpretiert, ihre Einhaltung aber nicht unabhängig vom Modell technisch erzwungen wird, bieten sie keine vollständige Sicherheit. Widersprüchliche Anweisungen, Fehlinterpretationen oder manipulierte Eingaben können ihre Wirkung beeinträchtigen. Sie dienen somit der Verhaltenssteuerung, garantieren