Invoice OCR Benchmark: Extraktionsgenauigkeit von LLMs vs OCRs
Rechnungsverarbeitung ist ein kritischer und arbeitsintensiver Geschäftsprozess, der traditionell manuelle Datenextraktion und Eingabe in Buchhaltungssysteme erfordert. Dieser manuelle Ansatz ist zeitaufwändig und anfällig für menschliche Fehler. Um automatisierte Alternativen zu bewerten, haben wir eine vergleichende Analyse führender Dokumentenverarbeitungslösungen und LLMs durchgeführt:
- Amazon Textract API
- Claude Sonnet 3.5
- Docsumo
- Google Document AI
- Microsoft Azure Document Intelligence
- Rossum
Unsere Studie bewertete die Fähigkeiten dieser Tools, Daten aus verschiedenen Rechnungsformaten und -qualitäten genau zu extrahieren, mit dem Ziel, ihre Wirksamkeit als Alternativen zur manuellen Verarbeitung zu quantifizieren.
Benchmark-Ergebnisse
Wir bewerteten die Leistung der Rechnungsverarbeitung bei Rechnungen unterschiedlicher Qualität und Kontraststufen. Während alle Tools bei Bildern hoher Qualität gute Leistungen zeigten, nahm ihre Genauigkeit bei der Verarbeitung von Dokumenten geringerer Qualität deutlich ab. Unter den getesteten Tools wies Claude Sonnet 3.5 die höchste Gesamtgenauigkeit und Robustheit über das gesamte Spektrum der Dokumentenqualitäten auf.
Methodik
Messung: Unsere Evaluierungsmethodik konzentrierte sich auf die Genauigkeit der Extraktion von Schlüssel-Wert-Paaren. Jedes extrahierte Feld wurde mittels binärer Klassifikation bewertet: korrekte Extraktion oder fehlerhafte/fehlende Extraktion. Die Genauigkeitsmetrik wurde mit folgender Formel berechnet:
Genauigkeit = (Anzahl korrekt extrahierter Schlüssel-Wert-Paare) / (Gesamtzahl der Schlüssel-Wert-Paare)
Diese Methodik ermöglichte einen objektiven Vergleich der Extraktionsleistung zwischen verschiedenen Tools und Dokumenttypen.
Stichprobengröße: Das Auffinden von Rechnungsdaten ist herausfordernd, da sie persönliche Informationen wie E-Mails und Namen enthalten. Wir verwendeten mehr als 400 Schlüssel-Wert-Paare aus 20 öffentlich verfügbaren Rechnungsbeispielen.
Beispiele: Während alle Lösungen Bilder hoher Qualität korrekt verarbeiteten, nahm die Extraktionsqualität bei Bildern wie diesen ab:
Feinabstimmung: Obwohl die von uns getesteten Produkte erfolgreich Gesamtbeträge fanden, hatten sie Probleme bei der Extraktion von Preisdetails. Es ist möglich, durch Feinabstimmung einiger Produkte bessere Ergebnisse zu erzielen. Bei einigen Produkten können Benutzer auf einen Wert im Bild klicken, um die Modellausgabe zu korrigieren.
Um allen Anbietern gegenüber fair zu sein, haben wir keine Feinabstimmung durchgeführt. Mit Feinabstimmung sollten alle Anbieter beim zweiten Durchlauf dieser Dokumente höhere Erfolgsraten erzielen können. Unser Fokus in diesem Benchmark liegt jedoch auf autonomen Abläufen, die von Modellen verlangen, korrekte und zuverlässige Ergebnisse aus Dokumenten zu liefern, die sie zuvor nicht gesehen haben.
Zeitplan: Alle Tests wurden im Dezember 2024 abgeschlossen.
Nächste Schritte
Erhöhung der Teilnehmerzahl: Da diese Studie Einblicke in die aktuellen Fähigkeiten der Rechnungsverarbeitung mittels Large Language Models (LLMs), OCR-Technologien und spezialisierten Rechnungsverarbeitungstools bietet, planen wir, unsere Analyse um zusätzliche hochmoderne LLMs zu erweitern, um einen umfassenderen Benchmark für automatisierte Rechnungsverarbeitungslösungen zu liefern.
Erhöhung der Stichprobengröße und -vielfalt.
Was ist Rechnungs-OCR?
Die Rechnungsanalyse verwendet automatisierte Tools wie NLP, NLU, OCR und andere Datenextraktionstechnologien, um Daten aus Rechnungen in verschiedenen Formaten wie PDFs und Bildern zu extrahieren.
Ein Rechnungsparser ist ein Softwareprogramm, das Informationen extrahiert wie
Lieferantenname
Rechnungsnummer
Fälliger Betrag
und gibt es in einem maschinenlesbaren Format aus. Diese Daten können für verschiedene Funktionen genutzt werden, wie die Automatisierung der Kreditorenbuchhaltung, das Abschließen von Monatsabschlüssen und die Rechnungsverwaltung.
Die Parser-Software ist normalerweise in ein Rechnungsverarbeitungssystem integriert, das den gesamten Prozess vom Eingang einer Rechnung bis zur Zahlung automatisiert.
Wie funktionieren Rechnungs-OCR-Tools?
Dokumente, die in einer bestimmten Auszeichnungssprache verfasst sind, werden von Parsern gelesen und verarbeitet. Sie zerlegen das Dokument in kleinere Einheiten, sogenannte Tokens, und untersuchen jedes Token, um zu bestimmen, was es bedeutet und wo es in die Struktur des Dokuments passt.
Dazu müssen Parser viel über die Grammatik der betreffenden Auszeichnungssprache wissen. Dies ermöglicht es ihnen, jedes Token zu erkennen und die genauen Beziehungen zwischen ihnen zu bestimmen.
Der Prozess umfasst 5 Schritte:
1. Eingabe
Rechnungen können in verschiedenen Formaten eingehen, darunter Papier, E-Mail oder elektronische Formate wie PDF oder XML. Die Rechnungsparser-Software akzeptiert diese Rechnungen in der Regel als Eingabe.
2. Optische Zeichenerkennung (OCR)
Wenn die Rechnung als gescanntes Papier oder Bild vorliegt, verwendet der Parser die OCR-Technologie, um Text aus dem Bild zu extrahieren. Dadurch kann der Parser auf die in der Rechnung enthaltenen Daten zugreifen.
Einige Rechnungsparsing-Lösungen verwenden KI-gestützte OCR-Tools oder LLMs, die automatisch Informationen aus PDFs, Fotos und gescannten Dokumenten extrahieren, ohne dass neue Regeln oder Vorlagen erforderlich sind. Dies liegt daran, dass die KI halbstrukturierte und unbekannte Dokumente verarbeiten und im Laufe der Zeit besser werden kann. Die extrahierten Informationen können so angepasst werden, dass sie nur bestimmte Tabellen oder Dateneinträge enthalten.
3. Datenextraktion
Der Parser extrahiert dann spezifische Informationen aus der Rechnung, wie Lieferantenname, Rechnungsnummer, Datum und Artikeldetails. Dies wird typischerweise durch eine Kombination aus Mustererkennung und maschinellen Lernalgorithmen erreicht.
Einige Rechnungsparsing-Software kann Schlüsselinformationen wie Rechnungsdatum, -nummer, Steueridentifikationsnummern und verschiedene Gesamtbeträge mithilfe vordefinierter Filter extrahieren:
Einige Parser-Tools bieten die Möglichkeit, Einzelposteninformationen aus Rechnungen mit einheitlichem Format zu extrahieren, indem für jedes spezifische Lieferanten- oder Geschäftspartner-Layout ein separater Dokumentenparser erstellt wird:
4. Datenvalidierung
Sobald die Daten extrahiert wurden, validiert der Parser die Informationen, um sicherzustellen, dass sie korrekt und vollständig sind. Dies kann die Überprüfung umfassen, dass das Datum im richtigen Format vorliegt, dass der Lieferantenname mit einer vordefinierten Lieferantenliste übereinstimmt oder dass die Artikeldetails dem erwarteten Format entsprechen.
5. Datenausgabe
Die extrahierten und validierten Daten werden dann in einem Format ausgegeben, das einfach in das Buchhaltungs- oder ERP-System des Benutzers importiert werden kann. Dies kann in Form einer CSV-Datei, eines Datenbankeintrags oder direkt in eine Buchhaltungssoftware erfolgen.
Herausforderungen bei der manuellen Rechnungsdatenextraktion
Die manuelle Extraktion von Daten aus Rechnungen und deren Eingabe in ein System kann für Unternehmen herausfordernd sein, da es mehrere Komplexitäten gibt:
Menschliches Versagen
Rechnungen können eine große Menge an Daten enthalten, und die manuelle Eingabe erhöht das Risiko von Fehlern wie Tippfehlern, Zahlendrehern und falscher Dateneingabe. Ungenauigkeiten bei der Dateneingabe sind für geschätzte $600 Milliarden jährliche Verluste verantwortlich.1 Prozesse wie die Kreditorenbuchhaltung benötigen einen korrekten Datenexport aus Finanzdokumenten.
Zeitaufwändig
Im Durchschnitt dauert es 17 Tage, also etwa 75 % eines Monats, um eine einzelne Rechnung manuell zu verarbeiten.2
Viele wichtige Informationen sind in Rechnungen enthalten und werden alle in einem Schlüssel-Wert-Stil dargestellt, bei dem jedes Element sowohl als Schlüssel als auch als Wert dient. Die manuelle Extraktion dieser Paare ist zeitaufwändig und erfordert mehrere Überprüfungen, um Genauigkeit zu gewährleisten. Selbst einige OCR-Algorithmen haben Schwierigkeiten, extrahierte Werte ohne Kontext zu erkennen. Die automatisierte Rechnungsverarbeitung kann Mitarbeitern helfen, sich auf komplexere Aufgaben zu konzentrieren.
Fehlende Standardisierung
Rechnungen von verschiedenen Lieferanten können unterschiedliche Formate haben. Jede Rechnung wird mit einem einzigartigen Format erstellt, das bei der Verarbeitung und Interpretation dieser Muster Schwierigkeiten bereiten kann. Die Dokumente, wie E-Mails, Papier und PDFs, durchlaufen möglicherweise viele digitale und papierbasierte Aufzeichnungen, bevor sie zur Zahlung freigegeben werden, was die manuelle Datenextraktion herausfordernd und fehleranfällig macht.
Prozessineffizienz
Die manuelle Bearbeitung von Rechnungen, die durchschnittliche Kosten von fast $23 pro Rechnung verursacht2 , kann sowohl zeitaufwändig als auch teuer sein und zu einem ineffizienten und sich wiederholenden Prozess führen.
Datenverlustpotenzial
Es besteht das Risiko, Daten zu verlieren, wenn Rechnungen verloren gehen oder beschädigt werden oder wenn Daten nicht korrekt in das System eingegeben werden.
OCR-Software hat oft auch Schwierigkeiten, Einzelposten aus Rechnungen zu extrahieren. Dies liegt daran, dass Transaktionstabellen möglicherweise keine horizontalen oder vertikalen Linien aufweisen, was es für die OCR-Rechnungsverarbeitung schwierig macht, Kontext für die extrahierten Elemente herzustellen. Gesammelte digitale Rechnungen oder Rechnungsbilder können in diesem Prozess verwendet werden.
Als bevorzugte Quelle hinzufügenWie wählen Sie Ihren Rechnungsverarbeitungsanbieter?
1. Liefert eine Lösung im Einklang mit den Datenschutzrichtlinien Ihres Unternehmens.
Die Datenschutzrichtlinien Ihres Unternehmens können ein Hindernis für die Nutzung externer APIs wie Amazon AWS Textract sein. Die meisten Anbieter bieten On-Premise-Lösungen an, sodass Datenschutzrichtlinien Ihr Unternehmen nicht zwangsläufig davon abhalten, eine Rechnungserfassungslösung zu verwenden. Der Workflow der Kreditorenbuchhaltung muss sorgfältig behandelt werden, da er häufig vertrauliche Geschäfts- und Finanzinformationen umfasst.
2. Bieten Sie eine konsistente Datenstruktur unabhängig vom Text auf den Dokumenten.
Es gibt zwei Arten, wie Deep-Learning-basierte Rechnungserfassungsunternehmen arbeiten. Unternehmen wie Textract geben Schlüssel-Wert-Paare zurück. Wenn also beispielsweise eine Rechnung den Gesamtbetrag als „Gross amount“ bezeichnet, eine andere als „Total amount“ und eine deutsche Rechnung ihn „Summe“ nennt, liefert Textract die Daten in drei verschiedenen Strukturen für diese drei Dokumente.
In einem erhalten Sie ein Schlüssel-Wert-Paar mit dem Schlüssel „Gross amount“, in einem anderen „Total amount“ und in der deutschen Version „Summe“. Andere Anbieter haben konsistente Datenstrukturen entwickelt, die für alle Rechnungen funktionieren. In allen drei Szenarien würden Sie „Total amount“ erhalten, was der Schlüssel ist, den sie in ihrer Ausgabedatei verwenden. Dies erleichtert Analysen und Verarbeitung, da Sie sich nicht mit vielen verschiedenen strukturierten Datenformaten auseinandersetzen müssen.
3. Fragen Sie nach den Raten für falsch-positive Ergebnisse und manuelle Datenextraktion
Führen Sie dann ein Proof-of-Concept (PoC)-Projekt durch, um die tatsächlichen Raten bei den von Ihrem Unternehmen erhaltenen Rechnungen zu sehen.
Falsch-positive Ergebnisse sind Rechnungen, die automatisch verarbeitet wurden, aber Fehler bei der Datenextraktion aufweisen. Diese sind schwer zu identifizieren und können den Betrieb stören. Beispielsweise wäre eine fehlerhafte Extraktion von Zahlungsbeträgen problematisch. Die Minimierung dieser sollte absolute Priorität haben.
Manuelle Datenextraktion ist erforderlich, wenn das automatisierte Datenextraktionssystem nur begrenztes Vertrauen in sein Ergebnis hat. Dies kann auf ein anderes Rechnungsformat, schlechte Bildqualität oder einen Druckfehler des Lieferanten zurückzuführen sein. Es ist ebenfalls wichtig, dies zu minimieren, aber es gibt einen Zielkonflikt zwischen falsch-positiven Ergebnissen und manueller Datenextraktion. Eine höhere manuelle Datenextraktion kann gegenüber falsch-positiven Ergebnissen vorzuziehen sein.
Dies ist das erste quantitative Benchmarking, das wir in diesem Bereich gesehen haben, und wir werden einer ähnlichen Methodik folgen, um unser eigenes Benchmarking vorzubereiten.
4. Nutzen Sie einen PoC, um die potenzielle Automatisierungsrate zu messen
Dies hängt von der Anzahl der Felder ab, die Sie aus den Dokumenten erfassen möchten. Ein typischer Satz von ~10 Feldern, einschließlich Elementen wie Bestell-ID, Lieferantenname usw., kann die Dateneingabe in das ERP und Zahlungen ermöglichen.
Best-Practice-Anbieter erreichen ~80 % STP, indem sie alle diese ~10 Felder in ~80 % der Fälle nahezu fehlerfrei extrahieren. Auch wenn es von Zeit zu Zeit Fehler geben kann, kann die manuelle Überprüfung der größten Zahlungen sicherstellen, dass keine signifikanten Fehlzahlungen durchs Netz schlüpfen.
5. Fragen Sie nach erweiterten Verarbeitungsoptionen des Anbieters
Die Extraktion ist der erste Schritt bei der Datenerfassung; in den meisten Fällen muss sie von der Datenverarbeitung gefolgt werden. Beispielsweise müssen Rechnungen auf Umsatzsteuerkonformität geprüft werden (z.B. müssen inländische Rechnungen ohne Umsatzsteuer erklären, warum die Umsatzsteuer ausgeschlossen ist), und eine Unterlassung kann je nach Land zu erheblichen Bußgeldern für das Unternehmen führen.
6. Fragen Sie, wie die Lösung neue Rechnungen lernt
Die besten Lösungen verfügen über eine Schnittstelle, mit der Ihr Team die Lösung anleiten kann. Wenn ein Mitarbeiter Ihres Unternehmens die Schlüssel-Wert-Paare auswählt, merkt sich die Rechnungserfassungslösung dies, sodass sie beim nächsten Mal bei einer ähnlichen Rechnung sicherer sein kann.
7. Bewerten Sie die Benutzerfreundlichkeit ihrer manuellen Dateneingabelösung
Sie wird von den Back-Office-Mitarbeitern Ihres Unternehmens genutzt, wenn sie Rechnungen manuell bearbeiten, die nicht mit ausreichender Sicherheit automatisch verarbeitet werden können.
Darüber hinaus sind bewährte Beschaffungsfragen sinnvoll. Zum Beispiel:
- Wie weit verbreitet ist ihre Lösung? Haben sie Fortune-500-Kunden?
- Sind ihre Kunden mit der Lösung und dem Support zufrieden? Es könnte gut sein, einen Bekannten aus einem Unternehmen zu fragen, das ihre Lösung bereits nutzt. Da die Rechnungsautomatisierung keine Lösung ist, die das Marketing oder den Vertrieb eines Unternehmens verbessern würde, könnten selbst Wettbewerber ihre Ansichten zu Rechnungsautomatisierungslösungen miteinander teilen.
- Welche Möglichkeiten gibt es, die Lösung in die Systeme Ihres Unternehmens zu integrieren (z.B. ERP)? Ist die IT-Abteilung mit dem Integrationsansatz einverstanden?
- Wie hoch sind ihre Gesamtbetriebskosten (Total Cost of Ownership, TCO)? Verschiedene Lösungen verwenden unterschiedliche Preiseinheiten (z.B. Preis pro Seite oder Preis pro Dokument), was diesen Vergleich schwierig macht. Mit einer Stichprobe aus Ihren Archiven könnten Sie jedoch eine Kostenschätzung erhalten.
Weiterführende Literatur
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{Invoice OCR Benchmark: Extraktionsgenauigkeit von LLMs vs OCRs}},
year = {2026},
month = aug,
howpublished = {\url{https://aimultiple.com/invoice-ocr}},
note = {AIMultiple. Abgerufen am 4. August 2026}
}Referenzlinks
Cems Arbeit wurde von führenden globalen Publikationen zitiert, darunter Business Insider, Forbes, Washington Post, globalen Unternehmen wie Deloitte, HPE und NGOs wie dem World Economic Forum sowie supranationalen Organisationen wie der European Commission.
Während seiner Karriere war Cem als Tech-Berater, Tech-Einkäufer und Tech-Unternehmer tätig. Er beriet Unternehmen über ein Jahrzehnt lang bei McKinsey & Company und Altman Solon in Technologieentscheidungen. Er veröffentlichte auch einen McKinsey-Bericht zur Digitalisierung.
Er leitete die Technologiestrategie und Beschaffung eines Telekommunikationsunternehmens und berichtete dabei direkt an den CEO. Zudem führte er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos an, das innerhalb von 2 Jahren von null auf einen siebenstelligen jährlich wiederkehrenden Umsatz und eine neunstellige Bewertung anwuchs. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider aufgegriffen.
Cem spricht regelmäßig auf internationalen Technologiekonferenzen. Er schloss sein Studium an der Bogazici University als Computer-Ingenieur ab und hat einen MBA von der Columbia Business School.
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.