Floemdata
KI

KI-Berichtszusammenfassungen: Genauigkeitsrisiken

Ein Sprachmodell Berichte zusammenfassen zu lassen spart Zeit, birgt aber erfundene Deutungen und falsche Zahlen. So begrenzen Sie das Risiko; Floemdata-Prinzip.

Floemdata · · 5 Min. Lesezeit
Ein plusförmiges Pixelmuster und seine Kopie: In der Kopie fehlt eine Armzelle, in der Ecke sitzt eine gelbe Zusatzzelle

Montagmorgen schreibt ein Sprachmodell die „wöchentliche Umsatzzusammenfassung“ für die Führungskraft. Der Text ist flüssig, der Ton stimmt. In der Zusammenfassung steht aber „Umsatz um 12 Prozent gestiegen“, während der Bericht 8 zeigt. Das Modell hat die Zahl falsch gelesen oder selbst gerechnet, und niemand hat es bemerkt, weil der Text vertrauenswürdig wirkte. Die Zahlen sind fiktiv, das Risiko ist real.

Vier typische Fehler

  • Falsche Zahl: Es greift eine Zahl aus einer anderen Zeile oder einer anderen Periode der Tabelle.
  • Eigene Rechnung: Es berechnet Prozentsatz, Differenz oder Summe selbst; Sprachmodelle können sich verrechnen.
  • Erfundene Ursache: Es ergänzt eine Erklärung wie „gestiegen wegen der Kampagne“, die nicht in den Daten steht.
  • Fehlender Kontext: Es überspringt einen Hinweis oder eine Datenlücke; es schreibt „alle Filialen“, obwohl die Daten von zwei Filialen nicht angekommen sind.

Wie sich das Risiko begrenzen lässt

  • Das Modell nicht rechnen lassen. Summen, Differenzen und Prozente berechnet ein Werkzeug; das Modell formuliert nur die fertige Zahl zu einem Satz.
  • Jede Zahl an ihre Quelle binden. Zeigen Sie neben jeder Zahl, aus welchem Bericht und welcher Periode sie stammt, damit Leser anklicken und prüfen können.
  • Ursache von Tatsache trennen. Das Modell schreibt „was geschah“, das „warum“ nur dort, wo die Daten es stützen; sonst ergänzt ein Mensch die Ursache.
  • Stichproben vor der Veröffentlichung. Prüfen Sie in den ersten Wochen jede Zahl der Zusammenfassungen von Hand; liegt die Fehlerquote nicht nahe null, versenden Sie nicht automatisch.
  • Menschliche Freigabe. Lassen Sie die Berichtsverantwortlichen die Zusammenfassung einmal prüfen, bevor sie die Führungskraft erreicht.

Ein kleiner Test

Lassen Sie das Modell für fünf alte Berichte eine Zusammenfassung schreiben und gleichen Sie jede Zahl darin mit ihrem Gegenstück im Bericht ab. Der Anteil nicht übereinstimmender Zahlen ist der ehrlichste Hinweis darauf, ob Sie für eine Automatisierung bereit sind.

Stand bei Floemdata

Die Entwurfsentscheidungen von Floemdata sind in den Unterlagen so festgehalten: Die KI füllt Definitionen aus und rechnet nicht; die Zahlen kommen aus dem Compiler, und Dashboard und Assistent laufen über denselben Compiler. Der KI-Assistent steht in der Produktdefinition als spätere Stufe (Phase 2) auf der Roadmap; eine Funktion, die Berichtszusammenfassungen schreibt, wird heute nicht mit dem Produkt geliefert. Die Methoden in diesem Beitrag gelten auch, wenn Sie Zusammenfassungen mit einem anderen Werkzeug erzeugen.

Zum Einstieg: Lassen Sie diese Woche ein Sprachmodell eine Berichtszusammenfassung schreiben und vergleichen Sie jede Zahl darin mit dem Bericht. Fragen richten Sie gern an info@floemdata.com oder über Floemdata.

← Alle Leitfäden