In einem direkten Vergleich lag ein führendes Allzweck-LLM bei den regulatorischen Daten in 35 % der Fälle eindeutig falsch. Archer Evolv™ wies keinerlei Fehler auf.

Für Unternehmen, die KI im Compliance-Bereich einsetzen, bedeutet ein falsches Datum eine versäumte Frist. Noch gefährlicher ist jedoch eine falsche Antwort, die das Modell mit hoher Sicherheit liefert – eine Antwort, die unbemerkt in den Compliance-Kalender einfließt und erst entdeckt wird, wenn die Frist bereits abgelaufen ist.Archer® hat heute Ergebnisse veröffentlicht, die zeigen, dass eine speziell entwickelte KI ein universelles großes Sprachmodell (LLM) bei regulatorischen Aufgaben deutlich übertrifft – und zwar mit großem Abstand. In diesem direkten Vergleich wurden die speziell entwickelte, branchenspezifische KI von Archer sowie firmeneigene Datensätze mit einem führenden universellen LLM bei einer zentralen Compliance-Aufgabe verglichen: der Ermittlung der Veröffentlichungs-, Inkrafttretungs- und Stellungnahmefristen von Regulierungsdokumenten in sechs Rechtsordnungen.

Allgemeine Modelle stellen einen echten Durchbruch dar, und dies ist kein Urteil über ihre Qualität. Die Frage, die Archer beantworten wollte, ist enger gefasst und praktischer: Was ist erforderlich, um eine spezifische, folgenreiche Entscheidung zuverlässig, schnell und in großem Maßstab kostengünstig zu treffen? Ein vertikaler, domänenorientierter Prozess, der auf einer von Experten verifizierten Wissensbasis beruht, überzeugt in allen drei Punkten zugleich.

Genauigkeit: 90 % weniger falsche Antworten

Bei denselben 55 Dokumenten lag das universelle LLM in 56 % der Fälle falsch. Die Konfidenz verschlimmerte das Problem, anstatt es zu verbessern. Von den Antworten, denen es eine hohe Konfidenz zuwies, waren 35 % immer noch falsch. Mit Archer Evolv werden mehr als 95 % der Ergebnisse sofort verifiziert, und der Rest wird vor der Verwendung an einen Experten weitergeleitet. Kein einziges falsches Datum gelangte in die Produktion. Nichts wird ungeprüft ausgeliefert.

Ergebnis anhand der Musterdokumente

Richtig

  • Allgemeiner LLM-Prozess: 44 %
  • Archer Evolv: 95 % verifiziert, 5 % von Experten geprüft

Falsch, wurde als gültig zurückgegeben

  • Allgemeiner LLM-Prozess: 25 %
  • Archer Evolv: 0 %

Fehlgeschlagen oder Zeitüberschreitung

  • Allgemeiner LLM-Prozess: 31 %
  • Archer Evolv: 0 %

Das Selbstvertrauen eines Models ist kein Kontrollfaktor.

Von den Antworten, denen das Allzweck-LLM ein hohes Maß an Zuverlässigkeit zuerkannte, waren 35 % falsch. Diese Genauigkeitslücke ist die Voraussetzung für den verantwortungsvollen Einsatz agentischer KI, denn ein autonomer Operator ist nur so vertrauenswürdig wie die ihm zugrunde liegenden Entscheidungen.  Verifizierte, auf die Quelle zurückverfolgbare und von Experten kontrollierte Antworten ermöglichen den sicheren Einsatz von KI-Agenten im gesamten Unternehmen. Dies ist der Kern der KI-Governance und genau die Ebene, für deren Bereitstellung Archer entwickelt wurde.

„Im Bereich der Compliance ist eine schnelle und kostengünstige, aber falsche Antwort wertlos, und eine Antwort, deren Herkunft sich nicht nachvollziehen lässt, stellt ein Risiko dar“, sagte Kayvan Alikhani, Chief Product and Technology Officer bei Archer. „Die speziell entwickelte KI von Archer hat mehr als 95 % der Entscheidungen in Echtzeit überprüft. Das ist die Grundlage, die es Unternehmen ermöglicht, KI-Agenten zu skalieren, ohne die Kontrolle über das Ergebnis zu verlieren.“

Geschwindigkeit: verifizierte Antworten in Echtzeit

Auf Anfrage benötigte der Allzweckprozess durchschnittlich etwa vier Sekunden pro Antwort innerhalb einer Zeitüberschreitung von fünf Sekunden. Archer Evolv lieferte ein verifiziertes Datum in etwa fünf Hundertstelsekunden – bei wiederholten Abfragen war das System damit etwa 80-mal schneller. Für KI-Agenten und Analysten, die im Rhythmus eines regulatorischen Kalenders arbeiten, ist das der Unterschied zwischen Schritt halten und zum Engpass werden.

Kosten: eine beständige, verifizierte Wissensbasis, keine On-Demand-Inferenz

Ein universeller Prozess berechnet die Antwort bei jeder Anfrage neu, ohne sich daran zu erinnern, was zuvor ermittelt wurde. Archer Evolv führt die Berechnung einmalig bei der Erfassung durch, überprüft das Ergebnis anhand einer skalierbaren, von Experten verwalteten Wissensdatenbank und speichert es für alle zukünftigen Abfragen – und das zu einem Bruchteil der Kosten und mit deutlich geringerer Latenz. Wenn eine Vorschrift geändert wird, erkennt Evolv die Änderung proaktiv, überprüft sie erneut und versieht die aktualisierte Antwort mit einer Versionsnummer. Es werden niemals veraltete Informationen bereitgestellt. Bei einem Korpus von 500 Dokumenten mit jeweils 12 Abfragen pro Monat sind das 6.000 Feststellungen gegenüber nur 500. Archer Evolv vermeidet rund 92 % der Abfrageaufrufe – eine strukturelle Einsparung, die sich mit steigendem Volumen weiter vergrößert.

Der Kontext ist es, der dies ermöglicht

Der Vorteil von Archer Evolv liegt im Kontext: Bevor eine KI ausgeführt wird, bewertet sie die Rechtsräume, Produkte, Geschäftsbereiche, Risiken und regulatorischen Themen des Unternehmens, sodass jede Entscheidung auf den für dieses Unternehmen relevanten Faktoren basiert. Das ist der Unterschied zwischen einer Antwort und einer vertretbaren Antwort. Je mehr Agenten ein Unternehmen einsetzt, desto wertvoller wird diese Grundlage, da jeder Agent dieselbe verifizierte, auf die Quelle zurückverfolgbare Basis übernimmt, anstatt die Welt von Grund auf neu zu erschließen.

„Die Unternehmen, die im nächsten Jahrzehnt im SaaS-Bereich die Nase vorn haben werden, werden domänenspezifische KI mit eigenem, branchenspezifischem Kontext kombinieren, den die Grundmodelle nicht nachbilden können“, sagte Bill Diaz, Vorstandsvorsitzender von Archer. „Das ist der Wettbewerbsvorteil, und er verstärkt sich noch. Dieser Test ist der Beweis dafür.“

Die vollständige Methodik, die Quelldaten und die Fallstudie sind auf der Thought-Leadership-Website von Archer unter compliance.ai/evolv_assets/case-01-evolv-vs-raw-llm.html verfügbar. Um Archer Evolv in Aktion zu sehen, besuchen Sie www.archerirm.com.


Über Archer

Archer unterstützt weltweit führende Unternehmen bei der Steuerung von Risiken, Compliance und regulatorischen Änderungen. Mehr als 1.300 Organisationen nutzen Archer, darunter die Hälfte der Fortune-500-Unternehmen und 37 der 50 weltweit führenden Banken. Alle sechs Minuten tritt irgendwo auf der Welt eine neue regulatorische Änderung in Kraft, und agentische KI überfordert die meisten Teams bei deren Bewältigung. Die speziell für diesen Zweck entwickelte KI von Archer basiert auf umfassenden regulatorischen Daten und fundiertem Fachwissen im Bereich GRC, sodass jedes Ergebnis bis zu seiner Quelle zurückverfolgt werden kann und jede Entscheidung begründet werden lässt. Archer bietet Lösungen für den gesamten GRC-Bereich, darunter das Management regulatorischer Änderungen, KI-basiertes Risikomanagement, regulatorische Informationen, Risiken durch Dritte sowie IT- und Sicherheitsrisiken. Erfahren Sie mehr unter www.archerirm.com.