Rechnungs-OCR-Benchmark: Extraktionsgenauigkeit von LLMs vs OCRs
Rechnungsverarbeitung ist ein kritischer, aber arbeitsintensiver Geschäftsprozess, der traditionell manuelle Datenextraktion und -eingabe in Buchhaltungssysteme erfordert. Dieser manuelle Ansatz ist zeitaufwändig und anfällig für menschliche Fehler. Um automatisierte Alternativen zu bewerten, haben wir eine vergleichende Analyse führender Dokumentenverarbeitungslösungen und LLMs durchgeführt:
- Amazon Textract API
- Claude Sonnet 3.5
- Docsumo
- Google Document KI
- Microsoft Azure Document Intelligence
- Rossum
Unsere Studie bewertete die Fähigkeiten dieser Tools, Daten aus verschiedenen Rechnungsformaten und -qualitäten genau zu extrahieren, mit dem Ziel, ihre Effektivität als Alternativen zur manuellen Verarbeitung zu quantifizieren.
Benchmark-Ergebnisse
Wir bewerteten die Rechnungsverarbeitungsleistung über Rechnungen unterschiedlicher Qualität und Kontraststufen hinweg. Während alle Tools bei Bildern hoher Qualität eine starke Leistung zeigten, nahm ihre Genauigkeit bei der Verarbeitung von Dokumenten geringerer Qualität signifikant ab. Unter den getesteten Tools wies Claude Sonnet 3.5 die höchste Gesamtgenauigkeit und Robustheit über das gesamte Spektrum der Dokumentenqualitäten hinweg auf.
Methodik
Messung: Unsere Bewertungsmethodik konzentrierte sich auf die Genauigkeit der Extraktion von Schlüssel-Wert-Paaren. Jedes extrahierte Feld wurde anhand einer binären Klassifikation bewertet: korrekte Extraktion oder fehlerhafte/fehlende Extraktion. Die Genauigkeitsmetrik wurde mit folgender Formel berechnet:
Genauigkeit = (Anzahl der korrekt extrahierten Schlüssel-Wert-Paare) / (Gesamtzahl der Schlüssel-Wert-Paare)
Diese Methodik ermöglichte einen objektiven Vergleich der Extraktionsleistung über verschiedene Tools und Dokumenttypen hinweg.
Stichprobengröße: Das Auffinden von Rechnungsdaten ist schwierig, da es persönliche Informationen wie E-Mails und Namen enthält. Wir verwendeten mehr als 400 Schlüssel-Wert-Paare aus 20 öffentlich verfügbaren Rechnungsmustern.
Muster: Während alle Lösungen Bilder hoher Qualität korrekt verarbeiteten, nahm die Extraktionsqualität bei Bildern wie diesen ab:
Feinabstimmung: Obwohl die von uns getesteten Produkte erfolgreich Gesamtbeträge fanden, hatten sie Probleme bei der Extraktion von Preisdetails. Es ist möglich, durch Feinabstimmung einiger Produkte bessere Ergebnisse zu erzielen. Bei einigen Produkten können Benutzer auf einen Wert im Bild klicken, um die Modellausgabe zu korrigieren.
Um allen Anbietern gegenüber fair zu sein, haben wir keine Feinabstimmung durchgeführt. Mit Feinabstimmung sollten alle Anbieter in der Lage sein, beim zweiten Mal der Verarbeitung dieser Dokumente höhere Erfolgsquoten zu erzielen. Unser Fokus in diesem Benchmark liegt jedoch auf autonomen Abläufen, die Modelle erfordern, die korrekte und zuverlässige Ergebnisse aus zuvor nicht gesehenen Dokumenten liefern.
Zeitplan: Alle Tests wurden im Dezember 2024 abgeschlossen.
Nächste Schritte
Erhöhung der Teilnehmerzahl: Da diese Studie Einblicke in die aktuellen Rechnungsverarbeitungsfähigkeiten über Large Language Models (LLMs), OCR-Technologien und spezialisierte Rechnungsverarbeitungstools hinweg bietet, planen wir, unsere Analyse durch die Einbeziehung weiterer hochmoderner LLMs zu erweitern, um einen umfassenderen Benchmark automatisierter Rechnungsverarbeitungslösungen bereitzustellen.
Erhöhung der Stichprobengröße und -vielfalt.
Was ist Rechnungs-OCR?
Die Rechnungsanalyse verwendet automatisierte Tools wie NLP, NLU, OCR und andere Datenextraktionstechnologien, um Daten aus Rechnungen in verschiedenen Formaten wie PDFs und Bildern zu extrahieren.
Ein Rechnungsparser ist ein Softwareprogramm, das Informationen extrahiert wie
Lieferantenname
Rechnungsnummer
Fälliger Betrag
und gibt sie in einem maschinenlesbaren Format aus. Diese Daten können für mehrere Funktionen genutzt werden, wie die Automatisierung der Kreditorenbuchhaltung, den Abschluss der Monatsabschlüsse und die Verwaltung von Rechnungen.
Die Parsersoftware ist in der Regel in ein Rechnungsverarbeitungssystem integriert, das den gesamten Prozess vom Eingang einer Rechnung bis zur Zahlung automatisiert.
Wie funktionieren Rechnungs-OCR-Tools?
Dokumente, die in einer bestimmten Auszeichnungssprache verfasst sind, werden von Parsern gelesen und verarbeitet. Sie zerlegen das Dokument in kleinere Teile, sogenannte Token, und untersuchen jeden Token, um zu bestimmen, was er bedeutet und wo er in die Dokumentstruktur passt.
Dazu müssen Parser die Grammatik der betreffenden Auszeichnungssprache gut kennen. Dies ermöglicht es ihnen, jeden Token zu erkennen und die genauen Verbindungen zwischen ihnen zu bestimmen.
Der Prozess umfasst 5 Schritte:
1. Eingabe
Rechnungen können in einer Vielzahl von Formaten empfangen werden, darunter Papier, E-Mail oder elektronische Formate wie PDF oder XML. Die Rechnungsparsersoftware akzeptiert diese Rechnungen normalerweise als Eingabe.
2. Optische Zeichenerkennung (OCR)
Wenn die Rechnung als gescanntes Papier oder Bild vorliegt, verwendet der Parser die OCR-Technologie, um Text aus dem Bild zu extrahieren. Dadurch kann der Parser auf die in der Rechnung enthaltenen Daten zugreifen.
Einige Rechnungsparsing-Lösungen verwenden KI-gestützte OCR-Tools oder LLMs, die automatisch Informationen aus PDFs, Fotos und gescannten Dokumenten extrahieren, ohne dass neue Regeln oder Vorlagen erforderlich sind. Das liegt daran, dass die KI halbstrukturierte und unbekannte Dokumente verarbeiten und sich im Laufe der Zeit verbessern kann. Die extrahierten Informationen können so angepasst werden, dass nur bestimmte Tabellen oder Dateneinträge enthalten sind.
3. Datenextraktion
Der Parser extrahiert dann spezifische Informationen aus der Rechnung, wie den Lieferantennamen, die Rechnungsnummer, das Datum und die Artikeldetails. Dies wird in der Regel durch eine Kombination aus Mustererkennung und maschinellen Lernalgorithmen erreicht.
Einige Rechnungsparsing-Software hat die Fähigkeit, Schlüsselinformationen wie Rechnungsdatum, -nummer, Steueridentifikationsnummern und verschiedene Summen mithilfe vordefinierter Filter zu extrahieren:
Einige Parsertools bieten die Möglichkeit, Posteninformationen aus Rechnungen mit konsistentem Format zu extrahieren, indem für jedes spezifische Lieferanten- oder Handelspartnerlayout ein separates Dokumentparser erstellt wird:
4. Datenvalidierung
Nachdem die Daten extrahiert wurden, validiert der Parser die Informationen, um sicherzustellen, dass sie korrekt und vollständig sind. Dies kann beinhalten, dass das Datum im richtigen Format vorliegt, der Lieferantenname mit einer vordefinierten Liste von Lieferanten übereinstimmt oder die Artikeldetails dem erwarteten Format entsprechen.
5. Datenausgabe
Die extrahierten und validierten Daten werden dann in einem Format ausgegeben, das leicht in das Buchhaltungs- oder ERP-System des Benutzers importiert werden kann. Dies kann in Form einer CSV-Datei, eines Datenbankeintrags oder direkt in eine Buchhaltungssoftware sein.
Als bevorzugte Quelle hinzufügenHerausforderungen bei der manuellen Rechnungsdatenextraktion
Die manuelle Extraktion von Daten aus Rechnungen und die Eingabe in ein System kann für Unternehmen eine Herausforderung darstellen, da es mehrere Komplexitäten gibt:
Menschliche Fehler
Rechnungen können eine große Datenmenge enthalten, und manuelle Eingabe erhöht das Risiko von Fehlern wie Tippfehlern, Zahlendrehern und falscher Dateneingabe. Ungenauigkeiten bei der Dateneingabe verursachen schätzungsweise jährliche Verluste von $600 Milliarden.1 Prozesse wie die Kreditorenbuchhaltung benötigen einen korrekten Datenexport aus Finanzdokumenten.
Zeitaufwändig
Im Durchschnitt dauert es 17 Tage, oder etwa 75% eines Monats, um eine einzelne Rechnung manuell zu verarbeiten.2
In Rechnungen sind viele wichtige Informationen enthalten, und sie alle werden in einer Schlüssel-Wert-Form präsentiert, bei der jedes Element sowohl als Schlüssel als auch als Wert dient. Das manuelle Extrahieren dieser Paare ist zeitaufwändig und erfordert mehrere Überprüfungen, um Genauigkeit sicherzustellen. Selbst einige OCR-Algorithmen haben Schwierigkeiten, extrahierte Werte ohne Kontext zu erkennen. Die automatisierte Rechnungsverarbeitung kann Mitarbeitern helfen, sich auf komplexere Aufgaben zu konzentrieren.
Mangelnde Standardisierung
Rechnungen von verschiedenen Lieferanten können unterschiedliche Formate haben. Jede Rechnung wird mit einem einzigartigen Format erstellt, das Schwierigkeiten bei der Verarbeitung und Interpretation dieser Muster bereiten kann. Die Dokumente, wie E-Mails, Papier und PDFs, durchlaufen möglicherweise viele digitale und papierbasierte Aufzeichnungen, bevor sie zur Zahlung freigegeben werden, was die manuelle Extraktion von Daten herausfordernd und fehleranfällig macht.
Prozessineffizienz
Die manuelle Bearbeitung von Rechnungen, die durchschnittlich fast $23 pro Rechnung kostet3 , kann sowohl zeitaufwändig als auch teuer sein und zu einem ineffizienten und sich wiederholenden Prozess führen.
Potenzial für Datenverlust
Es besteht das Risiko, Daten zu verlieren, wenn Rechnungen verloren gehen oder beschädigt werden oder wenn Daten nicht korrekt in das System eingegeben werden.
OCR-Software hat oft auch Schwierigkeiten, Posten aus Rechnungen zu extrahieren. Dies liegt daran, dass Transaktionstabellen möglicherweise keine horizontalen oder vertikalen Linien aufweisen, was es für die OCR-Rechnungsverarbeitung schwierig macht, Kontext für die extrahierten Elemente herzustellen. Gesammelte digitale Rechnungen oder Rechnungsbilder können in diesem Prozess verwendet werden.
Wie wählen Sie Ihren Rechnungsverarbeitungsanbieter aus?
1. Bietet eine Lösung, die mit den Datenschutzrichtlinien Ihres Unternehmens übereinstimmt.
Die Datenschutzrichtlinie Ihres Unternehmens kann ein Hindernis für die Nutzung externer APIs wie Amazon AWS Textract sein. Die meisten Anbieter bieten On-Premise-Lösungen an, sodass Datenschutzrichtlinien Ihr Unternehmen nicht unbedingt daran hindern, eine Rechnungserfassungslösung zu verwenden. Der Workflow der Kreditorenbuchhaltung muss sorgfältig behandelt werden, da er häufig vertrauliche Geschäfts- und Finanzinformationen beinhaltet.
2. Bietet eine konsistente Datenstruktur unabhängig vom Text auf den Dokumenten.
Es gibt zwei Arten, wie Unternehmen, die auf Deep Learning basierende Rechnungserfassung betreiben, arbeiten. Unternehmen wie Textract geben Schlüssel-Wert-Paare zurück. Wenn also beispielsweise eine Rechnung den Gesamtbetrag „Gross amount“ nennt, eine andere ihn „Total amount“ nennt und eine deutsche Rechnung ihn „Summe“ nennt, liefert Textract Ihnen die Daten in drei verschiedenen Strukturen für diese drei Dokumente.
In einem haben Sie ein Schlüssel-Wert-Paar mit dem Schlüssel „Gross amount“, in einem anderen „Total amount“ und in der deutschen erhalten Sie „Summe“. Andere Anbieter haben konsistente Datenstrukturen entworfen, die für alle Rechnungen funktionieren. In allen drei Szenarien würden Sie „Total amount“ erhalten, den Schlüssel, den sie in ihrer Ausgabedatei verwenden. Dies erleichtert die Analyse und Verarbeitung, da Sie sich nicht mit vielen unterschiedlichen strukturierten Datenformaten auseinandersetzen müssen.
3. Fragen Sie nach den Falsch-Positiv- und manuellen Datenextraktionsraten
Führen Sie dann ein Proof-of-Concept (PoC)-Projekt durch, um die tatsächlichen Raten bei den von Ihrem Unternehmen empfangenen Rechnungen zu sehen.
Falsch Positive sind Rechnungen, die auto-verarbeitet werden, aber Fehler bei der Datenextraktion aufweisen. Diese sind schwer zu erkennen und können den Betrieb stören. Zum Beispiel wäre eine fehlerhafte Extraktion von Zahlungsbeträgen problematisch. Die Minimierung dessen sollte absoluter Fokus sein.
Manuelle Datenextraktion ist erforderlich, wenn das automatisierte Datenextraktionssystem nur begrenztes Vertrauen in sein Ergebnis hat. Dies kann auf ein anderes Rechnungsformat, schlechte Bildqualität oder einen Druckfehler des Lieferanten zurückzuführen sein. Auch dies gilt es zu minimieren, aber es gibt einen Kompromiss zwischen falsch positiven Ergebnissen und manueller Datenextraktion. Mehr manuelle Datenextraktion kann falsch positiven Ergebnissen vorzuziehen sein.
Dies ist das erste quantitative Benchmarking, das wir in diesem Bereich gesehen haben, und wir werden einer ähnlichen Methodik folgen, um unser eigenes Benchmarking vorzubereiten.
4. Nutzen Sie einen PoC, um die potenzielle Automatisierungsrate zu messen
Dies hängt von der Anzahl der Felder ab, die Sie aus den Dokumenten erfassen möchten. Ein typischer Satz von ~10 Feldern, einschließlich Elementen wie Bestellnummer, Lieferantenname usw., kann die Dateneingabe in ERP und Zahlungen ermöglichen.
Best-Practice-Anbieter erreichen ~80% STP, indem sie alle diese ~10 Felder in ~80% der Fälle nahezu fehlerfrei extrahieren. Auch wenn es hin und wieder Fehler geben kann, stellt die manuelle Überprüfung der größten Zahlungen sicher, dass keine signifikante Fehlzahlung durchrutscht.
5. Fragen Sie nach erweiterten Verarbeitungsoptionen, die der Anbieter bereitstellt
Die Extraktion ist der erste Schritt der Datenerfassung; sie muss in den meisten Fällen von einer Datenverarbeitung gefolgt werden. Beispielsweise müssen Rechnungen auf Umsatzsteuerkonformität geprüft werden (z. B. müssen inländische Rechnungen ohne Umsatzsteuer erklären, warum die Umsatzsteuer ausgeschlossen ist), und ein Versäumnis könnte je nach Land zu erheblichen Bußgeldern für das Unternehmen führen.
6. Fragen Sie, wie die Lösung über neue Rechnungen lernt
Die besten Lösungen verfügen über eine Schnittstelle, die es Ihrem Team ermöglicht, die Lösung zu unterstützen. Wenn ein Mitarbeiter Ihres Unternehmens die Schlüssel-Wert-Paare auswählt, merkt sich die Rechnungserfassungslösung dies, um beim nächsten Mal bei einer ähnlichen Rechnung sicherer zu sein.
7. Bewerten Sie die Benutzerfreundlichkeit ihrer manuellen Dateneingabelösung
Sie wird von den Backoffice-Mitarbeitern Ihres Unternehmens verwendet, wenn sie Rechnungen manuell verarbeiten, die nicht automatisch mit Vertrauen verarbeitet werden können.
Darüber hinaus sind Best-Practice-Beschaffungsfragen sinnvoll. Zum Beispiel:
- Wie weit verbreitet ist ihre Lösung? Haben sie Fortune-500-Kunden?
- Sind ihre Kunden mit ihrer Lösung und ihrem Support zufrieden? Es könnte gut sein, einen Bekannten aus einem Unternehmen zu fragen, das ihre Lösung bereits nutzt. Da die Rechnungsautomatisierung keine Lösung ist, die das Marketing oder den Vertrieb eines Unternehmens verbessern würde, könnten sogar Wettbewerber ihre Ansichten zu Rechnungsautomatisierungslösungen miteinander teilen.
- Welche Möglichkeiten gibt es, die Lösung in die Systeme Ihres Unternehmens (z. B. ERP) zu integrieren? Ist die IT mit dem Integrationsansatz einverstanden?
- Was sind ihre Gesamtbetriebskosten (TCO)? Verschiedene Lösungen verwenden unterschiedliche Preiseinheiten (z. B. Preis pro Seite oder Preis pro Dokument), was diesen Vergleich erschwert. Anhand einer Stichprobe aus Ihren Archiven könnten Sie jedoch eine Kostenschätzung erhalten.
Weiterführende Lektüre
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{Rechnungs-OCR-Benchmark: Extraktionsgenauigkeit von LLMs vs OCRs}},
year = {2026},
month = jan,
howpublished = {\url{https://aimultiple.com/invoice-ocr}},
note = {AIMultiple. Abgerufen am 22. Januar 2026}
}Referenzlinks
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.