Vergleichsmessung der Rechnungs-OCR: Extraktionsgenauigkeit von LLMs im Vergleich zu OCRs
Die Rechnungsverarbeitung ist ein wichtiger, aber arbeitsintensiver Geschäftsprozess, der traditionell die manuelle Datenerfassung und -eingabe in Buchhaltungssysteme erfordert. Dieser manuelle Ansatz ist zeitaufwändig und fehleranfällig. Um automatisierte Alternativen zu bewerten, haben wir eine vergleichende Analyse führender Dokumentenverarbeitungslösungen und LLMs durchgeführt:
- Amazon Textract API
- Claude Sonnet 3.5
- Docsumo
- Google Dokument AI
- Microsoft Azure-Dokument Intelligence
- Rossum
In unserer Studie bewerteten wir die Fähigkeit dieser Tools, Daten aus verschiedenen Rechnungsformaten und -qualitäten präzise zu extrahieren, mit dem Ziel, ihre Effektivität als Alternative zur manuellen Verarbeitung zu quantifizieren.
Vergleichsergebnisse
Wir evaluierten die Leistung der Rechnungsverarbeitung anhand von Rechnungen unterschiedlicher Qualität und Kontraststärke. Während alle Tools bei hochauflösenden Bildern eine gute Leistung zeigten, sank ihre Genauigkeit bei der Verarbeitung von Dokumenten geringerer Qualität deutlich. Unter den getesteten Tools wies Claude Sonnet 3.5 die höchste Gesamtgenauigkeit und Robustheit über das gesamte Spektrum der Dokumentqualitäten hinweg auf.
Methodik
Messung: Unsere Evaluierungsmethodik konzentrierte sich auf die Genauigkeit der Schlüssel-Wert-Paar-Extraktion. Jedes extrahierte Feld wurde binär klassifiziert: korrekte Extraktion oder inkorrekte/fehlende Extraktion. Die Genauigkeit wurde anhand der folgenden Formel berechnet:
Genauigkeit = (Anzahl der korrekt extrahierten Schlüssel-Wert-Paare) / (Gesamtzahl der Schlüssel-Wert-Paare)
Diese Methodik ermöglichte einen objektiven Vergleich der Extraktionsleistung verschiedener Tools und Dokumenttypen.
Stichprobengröße: Die Beschaffung von Rechnungsdaten gestaltet sich schwierig, da diese personenbezogene Daten wie E-Mail-Adressen und Namen enthalten. Wir verwendeten über 400 Schlüssel-Wert-Paare aus 20 öffentlich zugänglichen Rechnungsbeispielen.
Beispiele: Während alle Lösungen qualitativ hochwertige Bilder korrekt verarbeiteten, verschlechterte sich die Extraktionsqualität bei Bildern wie diesen:
Feinabstimmung : Die von uns getesteten Produkte ermittelten zwar erfolgreich Gesamtbeträge, hatten jedoch Probleme bei der Extraktion von Preisdetails. Durch eine Feinabstimmung einiger Produkte lassen sich bessere Ergebnisse erzielen. Bei einigen Produkten können Nutzer auf einen Wert im Bild klicken, um die Modellausgabe zu korrigieren.
Um allen Anbietern gegenüber fair zu sein, haben wir keine Feinabstimmung vorgenommen. Mit einer Feinabstimmung sollten alle Anbieter beim zweiten Verarbeiten dieser Dokumente höhere Erfolgsquoten erzielen können. Unser Fokus in diesem Benchmark liegt jedoch auf autonomen Abläufen, die voraussetzen, dass die Modelle korrekte und zuverlässige Ergebnisse aus ihnen unbekannten Dokumenten liefern.
Zeitlicher Ablauf: Alle Tests wurden im Dezember 2024 abgeschlossen.
Nächste Schritte
Erweiterung der Teilnehmerzahl: Da diese Studie Einblicke in die aktuellen Möglichkeiten der Rechnungsverarbeitung über große Sprachmodelle (LLMs), OCR-Technologien und spezialisierte Rechnungsverarbeitungswerkzeuge hinweg bietet, planen wir, unsere Analyse durch die Einbeziehung weiterer hochmoderner LLMs auszuweiten, um einen umfassenderen Vergleich automatisierter Rechnungsverarbeitungslösungen zu ermöglichen.
Erhöhung des Stichprobenumfangs und der Diversität .
Was ist Rechnungs-OCR?
Die Rechnungsanalyse nutzt automatisierte Tools wie NLP , NLU , OCR und andere Datenextraktionstechnologien, um Daten aus Rechnungen in verschiedenen Formaten wie PDFs und Bildern zu extrahieren.
Ein Rechnungsparser ist ein Softwareprogramm, das Informationen wie beispielsweise … extrahiert.
Name des Anbieters
Rechnungsnummer
Fälliger Betrag
und gibt sie in einem maschinenlesbaren Format ein. Diese Daten können für verschiedene Funktionen genutzt werden, beispielsweise zur Automatisierung der Kreditorenbuchhaltung , zum Monatsabschluss und zur Rechnungsverwaltung.
Die Parser-Software ist üblicherweise in ein Rechnungsverarbeitungssystem integriert, das den gesamten Prozess vom Rechnungseingang bis zur Zahlung automatisiert.
Wie funktionieren OCR-Tools für Rechnungen?
Dokumente, die in einer bestimmten Auszeichnungssprache verfasst sind, werden von Parsern gelesen und verarbeitet. Diese zerlegen das Dokument in kleinere Einheiten, sogenannte Tokens, und untersuchen jedes Token, um dessen Bedeutung und Position innerhalb der Dokumentstruktur zu bestimmen.
Dafür müssen Parser viel über die Grammatik der jeweiligen Auszeichnungssprache wissen. Dies ermöglicht es ihnen, jedes Token zu erkennen und die genauen Verbindungen zwischen ihnen zu bestimmen.
Der Prozess umfasst 5 Schritte:
1. Eingabe
Rechnungen können in verschiedenen Formaten eingehen, darunter Papier, E-Mail oder elektronische Formate wie PDF oder XML. Die Rechnungsverarbeitungssoftware akzeptiert diese Rechnungsformate in der Regel als Eingabe.
2. Optische Zeichenerkennung (OCR)
Liegt die Rechnung als Scan oder Bild vor, extrahiert der Parser mithilfe von OCR-Technologie den Text aus dem Bild. Dadurch erhält der Parser Zugriff auf die in der Rechnung enthaltenen Daten.
Einige Lösungen zur Rechnungsanalyse nutzen KI-gestützte OCR-Tools oder LLMs, die automatisch Informationen aus PDFs, Fotos und gescannten Dokumenten extrahieren, ohne dass neue Regeln oder Vorlagen erforderlich sind. Dies liegt daran, dass die KI auch mit teilstrukturierten und unbekannten Dokumenten umgehen kann und sich kontinuierlich verbessert. Die extrahierten Informationen lassen sich so anpassen, dass nur bestimmte Tabellen oder Datensätze enthalten sind.
3. Datenextraktion
Der Parser extrahiert anschließend spezifische Informationen aus der Rechnung, wie beispielsweise den Namen des Lieferanten, die Rechnungsnummer, das Datum und die Artikeldetails. Dies geschieht üblicherweise durch eine Kombination aus Mustererkennung und Algorithmen des maschinellen Lernens.
Manche Software zur Rechnungsanalyse ist in der Lage, mithilfe vordefinierter Filter wichtige Informationen wie Rechnungsdatum, Rechnungsnummer, Steueridentifikationsnummern und verschiedene Summen zu extrahieren:
Einige Parser-Tools bieten die Möglichkeit, Positionsinformationen aus Rechnungen in einem einheitlichen Format zu extrahieren, indem für jedes spezifische Lieferanten- oder Handelspartner-Layout ein separater Dokumentenparser erstellt wird:
4. Datenvalidierung
Nach der Datenextraktion validiert der Parser die Informationen, um deren Richtigkeit und Vollständigkeit sicherzustellen. Dies umfasst die Prüfung, ob das Datum im korrekten Format vorliegt, ob der Lieferantenname mit einer vordefinierten Lieferantenliste übereinstimmt oder ob die Artikeldetails dem erwarteten Format entsprechen.
5. Datenausgabe
Die extrahierten und validierten Daten werden anschließend in einem Format ausgegeben, das sich problemlos in das Buchhaltungs- oder ERP-System des Benutzers importieren lässt. Dies kann als CSV-Datei, Datenbankeintrag oder direkt in eine Buchhaltungssoftware erfolgen.
Herausforderungen bei der manuellen Extraktion von Rechnungsdaten
Das manuelle Extrahieren von Daten aus Rechnungen und deren Eingabe in ein System kann für Unternehmen eine Herausforderung darstellen, da mehrere Komplexitäten bestehen:
Menschliches Versagen
Rechnungen können große Datenmengen enthalten, und die manuelle Eingabe erhöht das Fehlerrisiko, beispielsweise durch Tippfehler, Zahlenvertauschungen und fehlerhafte Dateneingabe. Schätzungsweise 600 Milliarden US-Dollar an jährlichen Verlusten sind auf Ungenauigkeiten bei der Dateneingabe zurückzuführen. 1 Prozesse wie die Kreditorenbuchhaltung benötigen einen korrekten Datenexport aus Finanzdokumenten.
Zeitaufwendig
Im Durchschnitt dauert die manuelle Bearbeitung einer einzelnen Rechnung 17 Tage, also etwa 75 % eines Monats. 2
Rechnungen enthalten viele wichtige Informationen, die alle im Schlüssel-Wert-Format vorliegen, wobei jedes Element sowohl Schlüssel als auch Wert darstellt. Die manuelle Extraktion dieser Paare ist zeitaufwändig und erfordert mehrere Prüfungen, um die Genauigkeit zu gewährleisten. Selbst einige OCR- Algorithmen haben Schwierigkeiten, extrahierte Werte ohne Kontext zu erkennen. Die automatisierte Rechnungsverarbeitung kann Mitarbeitern helfen, sich auf komplexere Aufgaben zu konzentrieren.
Mangelnde Standardisierung
Rechnungen verschiedener Lieferanten können unterschiedliche Formate aufweisen. Jede Rechnung wird in einem individuellen Format erstellt, was die Verarbeitung und Interpretation dieser Muster erschweren kann. Dokumente wie E-Mails, Papierdokumente und PDFs durchlaufen oft zahlreiche digitale und papierbasierte Bearbeitungsprozesse, bevor sie zur Zahlung freigegeben werden. Dies macht die manuelle Datenextraktion aufwendig und fehleranfällig.
Prozessineffizienz
Die manuelle Bearbeitung von Rechnungen verursacht durchschnittliche Kosten von fast 23 US-Dollar pro Rechnung. 3 kann sowohl zeitaufwändig als auch teuer sein, was zu einem ineffizienten und sich wiederholenden Prozess führt.
potenzielles Datenverlustrisiko
Es besteht das Risiko eines Datenverlusts, wenn Rechnungen verloren gehen oder beschädigt werden oder wenn Daten nicht korrekt in das System eingegeben werden.
Auch OCR-Software hat oft Schwierigkeiten, Positionen aus Rechnungen zu extrahieren. Das liegt daran, dass Transaktionstabellen möglicherweise keine horizontalen oder vertikalen Linien enthalten, wodurch es der OCR-Rechnungsverarbeitung schwerfällt, den Kontext der extrahierten Positionen zu ermitteln. Gesammelte digitale Rechnungen oder Rechnungsbilder können in diesem Prozess verwendet werden.
Wie wählt man den richtigen Anbieter für die Rechnungsverarbeitung aus?
1. Bietet eine Lösung, die mit den Datenschutzrichtlinien Ihres Unternehmens übereinstimmt.
Die Datenschutzrichtlinien Ihres Unternehmens können die Nutzung externer APIs wie Amazon AWS Textract verhindern. Da die meisten Anbieter On-Premise-Lösungen anbieten, schließen Datenschutzrichtlinien die Nutzung einer Lösung zur Rechnungserfassung nicht zwangsläufig aus. Der Workflow der Kreditorenbuchhaltung erfordert besondere Sorgfalt, da er häufig vertrauliche Geschäfts- und Finanzinformationen umfasst.
2. Gewährleisten Sie eine einheitliche Datenstruktur unabhängig vom Text in den Dokumenten.
Es gibt zwei Ansätze für Unternehmen, die Rechnungserfassung mittels Deep Learning anbieten. Unternehmen wie Textract liefern Schlüssel-Wert-Paare. Wenn beispielsweise auf einer Rechnung der Gesamtbetrag als „Bruttobetrag“, auf einer anderen als „Gesamtbetrag“ und auf einer weiteren deutschen Rechnung als „Summe“ bezeichnet wird, stellt Textract die Daten in drei verschiedenen Strukturen für diese drei Dokumente bereit.
In einem Fall erhalten Sie ein Schlüssel-Wert-Paar mit dem Schlüssel „Bruttobetrag“, in einem anderen mit „Gesamtbetrag“ und im deutschen Fall mit „Summe“. Andere Anbieter haben einheitliche Datenstrukturen entwickelt, die für alle Rechnungen funktionieren. In allen drei Fällen erhalten Sie den „Gesamtbetrag“, der auch als Schlüssel in der Ausgabedatei verwendet wird. Dies vereinfacht die Analyse und Verarbeitung, da Sie nicht mit vielen verschiedenen strukturierten Datenformaten arbeiten müssen.
3. Fragen Sie nach den Falsch-Positiv-Raten und den Raten der manuellen Datenextraktion.
Führen Sie anschließend ein Proof-of-Concept-Projekt (PoC) durch, um die tatsächlichen Preise auf den von Ihrem Unternehmen erhaltenen Rechnungen zu ermitteln.
Falsch-positive Ergebnisse sind Rechnungen, die zwar automatisch verarbeitet werden, aber Fehler bei der Datenextraktion aufweisen. Diese sind schwer zu identifizieren und können den Betriebsablauf stören. Beispielsweise wäre die fehlerhafte Extraktion von Zahlungsbeträgen problematisch. Die Minimierung solcher Fehler sollte daher oberste Priorität haben.
Die manuelle Datenextraktion ist notwendig, wenn die Zuverlässigkeit des automatisierten Datenextraktionssystems eingeschränkt ist. Dies kann beispielsweise an einem abweichenden Rechnungsformat, schlechter Bildqualität oder einem Druckfehler seitens des Lieferanten liegen. Solche Fehler sollten minimiert werden, doch besteht ein Zielkonflikt zwischen falsch-positiven Ergebnissen und manueller Datenextraktion. Eine häufigere manuelle Datenextraktion kann in manchen Fällen sogar vorteilhafter sein als die Reduzierung falsch-positiver Ergebnisse.
Dies ist das erste quantitative Benchmarking, das wir in diesem Bereich gesehen haben, und wir werden eine ähnliche Methodik anwenden, um unser eigenes Benchmarking vorzubereiten.
4. Nutzen Sie einen Proof of Concept, um die potenzielle Automatisierungsrate zu messen.
Dies hängt von der Anzahl der Felder ab, die Sie aus den Dokumenten erfassen möchten. Ein typischer Satz von ca. 10 Feldern, einschließlich Angaben wie Bestellnummer, Lieferantenname usw., ermöglicht die Dateneingabe in das ERP-System und die Zahlungsabwicklung.
Best-Practice-Anbieter erreichen eine STP-Rate von ca. 80 %, indem sie diese ca. 10 Felder in ca. 80 % der Fälle nahezu fehlerfrei extrahieren. Obwohl gelegentlich Fehler auftreten können, stellt die manuelle Prüfung der größten Zahlungen sicher, dass keine signifikanten Fehlzahlungen unbemerkt bleiben.
5. Erkundigen Sie sich nach den erweiterten Verarbeitungsoptionen des Anbieters.
Die Datenextraktion ist der erste Schritt der Datenerfassung; in den meisten Fällen folgt darauf die Datenverarbeitung. Beispielsweise müssen Rechnungen auf die Einhaltung der Mehrwertsteuerbestimmungen geprüft werden (z. B. muss bei inländischen Rechnungen ohne Mehrwertsteuer angegeben werden, warum die Mehrwertsteuer ausgeschlossen ist). Andernfalls drohen dem Unternehmen je nach Land erhebliche Bußgelder.
6. Fragen Sie, wie die Lösung von neuen Rechnungen erfährt.
Die besten Lösungen verfügen über eine Benutzeroberfläche, die es Ihrem Team ermöglicht, die Lösung aktiv mitzugestalten. Während die Mitarbeiter Ihres Unternehmens die Schlüssel-Wert-Paare auswählen, merkt sich die Lösung zur Rechnungserfassung diese, um bei ähnlichen Rechnungen in Zukunft zuverlässiger reagieren zu können.
7. Bewerten Sie die Benutzerfreundlichkeit ihrer Lösung zur manuellen Dateneingabe.
Es wird von den Mitarbeitern im Backoffice Ihres Unternehmens verwendet, um Rechnungen manuell zu bearbeiten, die nicht zuverlässig automatisch verarbeitet werden können.
Darüber hinaus sind Fragen zu Best Practices im Beschaffungswesen sinnvoll. Zum Beispiel:
- Wie weit verbreitet ist ihre Lösung? Haben sie Fortune-500-Kunden?
- Sind ihre Kunden mit ihrer Lösung und dem Support zufrieden? Es könnte hilfreich sein, einen Bekannten aus einem Unternehmen zu fragen, das die Lösung bereits einsetzt. Da die Rechnungsautomatisierung keine Lösung ist, die Marketing oder Vertrieb verbessert, könnten auch Wettbewerber ihre Erfahrungen mit Rechnungsautomatisierungslösungen austauschen.
- Welche Möglichkeiten gibt es, die Lösung in die Systeme Ihres Unternehmens (z. B. ERP) zu integrieren? Steht die IT-Abteilung dem Integrationsansatz positiv gegenüber?
- Wie hoch sind die Gesamtbetriebskosten (TCO)? Unterschiedliche Lösungen verwenden unterschiedliche Preiseinheiten (z. B. Preis pro Seite oder Preis pro Dokument), was einen Vergleich erschwert. Anhand einer Stichprobe aus Ihrem Archiv lässt sich jedoch eine Kostenschätzung vornehmen.
Weiterführende Literatur
Referenzlinks
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich.