KI-Erklärbarkeit: Warum Unternehmen sie brauchen
Was prüfen, bevor man KI-Ausgaben im Betrieb vertraut? Eine praktische Checkliste zu Validierung, Erklärbarkeit und menschlicher Aufsicht, mit NIST-Bezug.

Dieser Beitrag ist keine Rechts- oder Finanzberatung. Bevor eine KI-Ausgabe in einen Bericht, ein Angebot oder eine Entscheidung wandert, stellt man zwei Fragen: Kann ich ihr vertrauen, und kann ich zeigen, warum sie dieses Ergebnis liefert? Die erste betrifft die Zuverlässigkeit, die zweite die Erklärbarkeit.
Wovon hängt Zuverlässigkeit ab?
- Gemessene Genauigkeit: Die Genauigkeit eines Werkzeugs sollte auf einem Test mit Ihren eigenen Beispielen beruhen, nicht auf der Beschreibung des Anbieters.
- Konsistenz: Liefert dieselbe Eingabe eine ähnliche Ausgabe?
- Kenntnis der Grenzen: In welchen Situationen irrt das Werkzeug? Sagt es, wenn es etwas nicht weiß?
- Fehlerarten: Was ist teurer, ein Fehlalarm oder ein übersehenes Ereignis? Wählen Sie die Schwelle entsprechend.
Erklärbarkeit
Eine Ausgabe erklären zu können heißt, zeigen zu können, auf welchen Daten und welcher Regel sie beruht. Im Betrieb ist das oft einfach: Welche Kennzahl, welcher Filter, welcher Zeitraum wurde verwendet? Stehen diese drei Angaben neben einer Zahl, kann ein Mensch sie prüfen.
Ein Rahmenwerk: NIST AI RMF
Das US-amerikanische NIST veröffentlichte das AI Risk Management Framework (AI RMF 1.0) am 26. Januar 2023. Laut der NIST-Seite ist das Rahmenwerk für die freiwillige Nutzung gedacht und soll Überlegungen zur Vertrauenswürdigkeit in Entwurf, Entwicklung, Einsatz und Bewertung von KI-Produkten einbringen. Die detaillierte Liste der Merkmale haben wir in diesem Beitrag nicht überprüft; Interessierte sollten das Dokument selbst lesen.
Eine praktische Checkliste
- Definieren Sie einen Schritt, der kritische Ausgaben mit der Quelle abgleicht.
- Lassen Sie die Zahl von einer deterministischen Berechnung erzeugen, nicht vom Modell.
- Zeigen Sie neben jeder Ausgabe die verwendeten Daten und die Regel.
- Sorgen Sie dafür, dass die entscheidende Person weiß, dass die Ausgabe von einer KI stammt.
- Erfassen Sie fehlerhafte Ausgaben und prüfen Sie sie einmal im Monat.
Stand bei Floemdata
Das Designprinzip von Floemdata Analytics lautet: KI schreibt kein SQL und rechnet nicht; die Berichtsdefinition durchläuft einen Validator, und die Berechnung erfolgt im Code. Das ist eine Designentscheidung; ein KI-Assistent steht auf der Roadmap und ist noch kein Produktmerkmal (nicht verifiziert).
Zum Einstieg wählen Sie eine KI-Ausgabe, die Sie heute nutzen, und rechnen deren Zahlen von Hand nach. Quelle: NIST, AI Risk Management Framework.