Premium
Dienstleistungen
Premium

OCR-Benchmark: Textextraktion / Erfassungsgenauigkeit

Şevval Alper
Şevval Alper
aktualisiert am 29. Juli 2026
NameCategoryValue
Nanonets-OCR2-3BAverage0.52
PaddleOCR-VLAverage0.79
Deepseek-OCRAverage0.81
Mistral-OCR-2Average0.83
Mistral-OCR-3Average0.85
Claude-Sonnet-4.5Average0.86
Moondream-OCRAverage0.87
Amazon-TextractAverage0.87
Dots-OCRAverage0.89
Google-VisionAverage0.89
Gemini-3-ProAverage0.89
GPT-5Average0.89
AzureAverage0.9
OlmOCR-2-7BAverage0.9
Gemini-2.5-ProAverage0.91
Nanonets-OCR2-3BHandwriting0.46
Deepseek-OCRHandwriting0.75
Amazon-TextractHandwriting0.81
Claude-Sonnet-4.5Handwriting0.82
Mistral-OCR-2Handwriting0.83
Google-VisionHandwriting0.86
Gemini-3-ProHandwriting0.87
PaddleOCR-VLHandwriting0.87
Dots-OCRHandwriting0.89
AzureHandwriting0.89
Mistral-OCR-3Handwriting0.9
Moondream-OCRHandwriting0.91
Gemini-2.5-ProHandwriting0.93
OlmOCR-2-7BHandwriting0.94
GPT-5Handwriting0.95
Nanonets-OCR2-3BPrinted Media0.54
PaddleOCR-VLPrinted Media0.63
GPT-5Printed Media0.77
Deepseek-OCRPrinted Media0.81
OlmOCR-2-7BPrinted Media0.81
Mistral-OCR-3Printed Media0.81
Mistral-OCR-2Printed Media0.82
Moondream-OCRPrinted Media0.82
Amazon-TextractPrinted Media0.84
Gemini-3-ProPrinted Media0.84
Dots-OCRPrinted Media0.84
AzurePrinted Media0.84
Claude-Sonnet-4.5Printed Media0.85
Google-VisionPrinted Media0.85
Gemini-2.5-ProPrinted Media0.85
Nanonets-OCR2-3BPrinted Text0.55
Mistral-OCR-2Printed Text0.85
Mistral-OCR-3Printed Text0.85
Deepseek-OCRPrinted Text0.86
PaddleOCR-VLPrinted Text0.87
Moondream-OCRPrinted Text0.89
Claude-Sonnet-4.5Printed Text0.92
Dots-OCRPrinted Text0.94
OlmOCR-2-7BPrinted Text0.94
Amazon-TextractPrinted Text0.95
Google-VisionPrinted Text0.95
Gemini-3-ProPrinted Text0.95
Gemini-2.5-ProPrinted Text0.95
GPT-5Printed Text0.95
AzurePrinted Text0.96

Die Genauigkeit von OCR ist für viele Dokumentverarbeitungsaufgaben entscheidend, und multimodale SOTA-LLMs bieten inzwischen eine Alternative zu OCR. Wir haben führende OCR-Dienste im DeltOCR Bench getestet, um ihre Genauigkeit bei verschiedenen Dokumenttypen zu ermitteln:

  • Handschrift: GPT-5 (95 %) sticht als stärkster Performer hervor, dicht gefolgt von olmOCR-2-7B (94 %) und Gemini 2.5 Pro (93 %).
  • Gedruckte Medien: Gemini 2.5 Pro, Google Vision und Claude Sonnet 4.5 führen diese Kategorie mit der höchsten Punktzahl (85 %) an
  • Gedruckter Text: Microsoft Azure Document Intelligence API führt mit einem Wert von 96 %.

OCR-Benchmark: DeltOCR Bench

Die vollständigen Namen der oben genannten Produkte und ihrer Versionen mit Stand November 2025 sind unten aufgeführt. Unsere Studie umfasst sowohl leicht zugängliche API-Dienste als auch Lösungen, die eine On-Premises-Infrastruktur erfordern, und vergleicht wichtige Modelle am Markt in einer umfassenden Testumgebung.

  • Handschrift:
    • Genauigkeitsbereich: Eine breite Spanne von 46 % bis 95 %.
    • Highlights: GPT-5 (95 %), olmOCR-2-7B (94 %) und Gemini 2.5 Pro (93 %) erzielen die höchste Leistung. Diese hohen Punktzahlen zeigen das außergewöhnliche Genauigkeitspotenzial multimodaler LLMs wie GPT-5 und Gemini 2.5 Pro in diesem Bereich.
    • Empfehlung: Für die Erkennung hochkomplexer Handschriften werden die führenden LLM-Lösungen wie GPT-5 oder Gemini 2.5 Pro aufgrund ihrer API-Zugänglichkeit und einfachen Integration empfohlen.
  • Gedruckte Medien:
    • Genauigkeitsbereich: Eine Spanne von 54 % bis 85 %.
    • Highlights: Lösungen wie Gemini 2.5 Pro, Google Vision und Claude Sonnet 4.5 teilen sich die höchste Punktzahl (85 %). Diese Kategorie ist äußerst wettbewerbsintensiv zwischen LLMs und traditionellen cloudbasierten OCR-Diensten (Azure, Dots OCR, Amazon Textract). GPT-5 hinkt in dieser Kategorie (77 %) anderen führenden LLMs hinterher.
    • Empfehlung: Für Dokumente mit komplexen visuellen Layouts (mehrere Schriftarten, niedrige Auflösung usw.) werden LLMs wie Gemini 2.5 Pro oder cloudbasierte Dienste wie Google Vision oder Microsoft Azure Document Intelligence API empfohlen.
  • Gedruckter Text:
    • Genauigkeitsbereich: Eine hohe Spanne von 55 % bis 96 %, wobei die meisten führenden Lösungen Punktzahlen von 94 % und mehr erreichten.
    • Highlights: Microsoft Azure Document Intelligence API (96 %) übernimmt die Führung, dicht gefolgt von Lösungen wie GPT-5, Gemini 2.5 Pro, Gemini 3 Pro Preview, Google Vision und Amazon Textract, die alle 95 % erreichen. Diese Kategorie ist ein Bereich, in dem alle SOTA-Lösungen extrem hohe Genauigkeitswerte erzielen.
    • Empfehlung: Für einfache gedruckte Texte mit hohen Genauigkeitsanforderungen können etablierte Cloud-Lösungen wie Microsoft Azure Document Intelligence API oder Google Vision oder punktstarke LLMs (Gemini/GPT-5) bedenkenlos eingesetzt werden.

API-Lösungen

Die folgenden Modelle wurden aufgrund ihrer einfachen Zugänglichkeit und Leistung in unsere Benchmarking-Liste aufgenommen.

  • Claude Sonnet 4.5
  • OpenAI GPT-5
  • Gemini 2.5 Pro
  • Gemini 3 Pro Preview
  • Amazon Textract API
  • Google Cloud Vision API
  • Microsoft Azure Document Intelligence API
  • Moondream OCR
  • Mistral OCR 3
  • Mistral OCR 2

Microsoft Azure Document Intelligence API ist Teil der Azure Cognitive Services-Familie.

Lokal bereitgestellte Modelle

Das Testen dieser Modelle ist aufgrund von Installation, Abhängigkeitsverwaltung und Hardware-Anforderungen schwieriger als bei API-Lösungen. Alle lokalen Tests wurden in einer dedizierten Serverumgebung durchgeführt.

  • olmOCR-2-7B
  • PaddleOCR-VL
  • Nanonets-OCR2-3B
  • Deepseek-OCR
  • Dots-OCR

Wir haben die Genauigkeit der Ergebnisse als Kosinus-Ähnlichkeitswert für gedruckten Text, gedruckte Medien und Handschrift berechnet. Jeder im Diagramm sichtbare Wert stellt die Leistung des entsprechenden Modells in dieser Kategorie dar.

Während unserer Tests haben wir beobachtet, dass das Modell Nanonets-OCR2-3B im Benchmark die schwächste Leistung erbrachte und die niedrigsten Punktzahlen erzielte. Generell stellten wir fest, dass einige Modelle insbesondere mit kursiver Handschrift und unübersichtlichen Textlayouts (gemischte Zeilenreihenfolge, uneinheitliche Großschreibung) Probleme hatten. Ähnliche Leistungsprobleme traten auch in der Kategorie gedruckte Medien auf, insbesondere bei Bildern mit niedriger Auflösung und solchen, die mehrere Schriftarten enthalten.

Dataset

In diesem Benchmark verwendeten wir insgesamt 300 Dokumente, mit 100 Dokumenten pro Kategorie über 3 Kategorien hinweg:

Gedruckter Text umfasst Briefe, Website-Screenshots, E-Mails, Berichte usw.

Gedruckte Medien umfassen Poster, Buchumschläge, Werbung usw. Wir wollten den Erfolg der OCR-Tools bei unterschiedlichen Textschriften und -platzierungen untersuchen.

Files in diesen 2 Kategorien stammten aus der Industry Documents Library (IDL).1

Handschrift: In der Kategorie Handschrift haben wir, da einige IDL-Dokumente nicht leicht lesbar waren, Dokumente erstellt, die den IDL-Dokumenten ähneln. Wir haben manuell Proben von für Menschen lesbarer Handschrift vorbereitet. Alle Proben waren in kursiver Handschrift verfasst.

OCR-Benchmark-Beispiel aus dem Dataset.
Abbildung 1: Proben aus unserem Dataset.

Methodik des DeltOCR Bench

Dieser Benchmark konzentriert sich auf die Textextraktionsgenauigkeit der Produkte.

Die Vorverarbeitung wird nur für die Kategorie Handschrift durchgeführt. Wir haben Bilder von handschriftlichen Dokumenten mit unseren Smartphones aufgenommen und eine mobile Scanner-App verwendet:

  • Die Bilder wurden in Schwarzweiß umgewandelt
  • Der Kontrast wurde erhöht und der Hintergrund entfernt.

OCR: Wir haben alle Produkte auf demselben Dataset ausgeführt und Textausgaben als Rohtextdateien (.txt) erzeugt. Anschließend haben wir die Ground Truth manuell erstellt, die den korrekten Text in all diesen Dateien enthält. Die Ground Truth wurde zweimal von Menschen überprüft.

Vergleich: Wir haben die Genauigkeit der OCR-Lösungen gemessen, indem wir ihre Ausgaben mit den Originaltexten verglichen haben. Zu diesem Zweck verwendeten wir das Sentence-BERT (SBERT)-Framework, um Kosinus-Ähnlichkeitswerte zu berechnen. Im Benchmark verwendeten wir das leistungsstarke mehrsprachige Paraphrasenmodell MiniLM-L12-v2, um den Ähnlichkeitswert zwischen der Ausgabe jedes Produkts und den Ground-Truth-Texten zu berechnen. Dieser Wert repräsentiert das Niveau der Textgenauigkeit.

Die Ähnlichkeitsfunktion verwendet eine Kosinus-Distanzmetrik, um die Ähnlichkeit zwischen zwei Texten zu berechnen. Wir haben für diesen Benchmark keine Levenshtein-Distanz verwendet, da verschiedene Produkte Texte in unterschiedlicher Reihenfolge ausgeben.2

Während die Levenshtein-Distanz diese Unterschiede berücksichtigt, suchen wir nur danach, wie genau der Text erkannt wird, nicht aber, wo er sich befindet. Die Kosinus-Distanz verursacht für solche Fälle vernachlässigbare Abzüge, daher haben wir uns entschieden, sie in diesem Benchmark zu verwenden.

Produktauswahl

Es gibt viele OCR-Produkte auf dem Markt. Wir müssen uns auf diejenigen konzentrieren, die Rohtextergebnisse ausgeben können. Die Produkte für diesen Benchmark wurden auf der Grundlage folgender Kriterien ausgewählt:

  • Fähigkeit, Text zu extracten. Wir haben in diesen Vergleich keine Lösungen aufgenommen, die nur maschinenlesbare (d. h. strukturierte) Daten extracten.
  • Ihre Beliebtheit auf dem Markt

Dies ist keine umfassende Marktübersicht, und wir haben möglicherweise einige Produkte mit erheblichen Fähigkeiten ausgeschlossen. Wenn das der Fall ist, hinterlassen Sie bitte einen Kommentar, und wir erweitern den Benchmark gerne.

Einschränkungen

Erweiterte Fähigkeiten wie Textlokalisierung, Schlüssel-Wert-Paarung und Dokumentenklassifizierung wurden in diesem Benchmark nicht bewertet.

Der Stichprobenumfang wird in der nächsten Iteration erhöht. Wenn Sie OCR für Handschrift suchen, lesen Sie unseren Handschrift-OCR-Benchmark mit 50 Proben.

FAQs

Optische Zeichenerkennung (OCR) ist ein Bereich des maschinellen Lernens, der sich auf die Unterscheidung von Zeichen in Bildern wie gescannten Dokumenten, gedruckten Büchern oder Fotos spezialisiert hat. Obwohl es sich um eine ausgereifte Technologie handelt, gibt es noch keine OCR-Produkte, die alle Arten von Text mit 100 % Genauigkeit erkennen können. Unter den Produkten, die wir getestet haben, konnten nur wenige Produkte erfolgreiche Ergebnisse aus unserem Testset liefern.
OCR-Tools werden von Unternehmen verwendet, um Texte und ihre Positionen in Bildern zu identifizieren, Geschäftsdokumente nach Themen zu klassifizieren oder Schlüssel-Wert-Paarungen innerhalb von Dokumenten durchzuführen. Basierend auf OCR-Ergebnissen erstellen andere Technologieunternehmen Anwendungen wie Dokumentenautomatisierung. Für all diese Geschäftsfälle ist eine genaue Texterkennung für ein OCR-Produkt entscheidend.

Lassen Sie unser Team einen Ihrer Geschäftsprozesse kostenlos mit KI-Agenten automatisieren.
Einen Prozess automatisieren

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

Şevval Alper (2026) - "OCR-Benchmark: Textextraktion / Erfassungsgenauigkeit". Online veröffentlicht auf AIMultiple.com. Abgerufen am 29. Juli 2026, von: https://aimultiple.com/ocr-accuracy [Online-Ressource]

Alper, Ş. (2026, 29. Juli). OCR-Benchmark: Textextraktion / Erfassungsgenauigkeit. AIMultiple. https://aimultiple.com/ocr-accuracy

@misc{alper2026,
  author = {Alper, Şevval},
  title  = {{OCR-Benchmark: Textextraktion / Erfassungsgenauigkeit}},
  year   = {2026},
  month  = jul,
  howpublished    = {\url{https://aimultiple.com/ocr-accuracy}},
  note   = {AIMultiple. Abgerufen am 29. Juli 2026}
}
Alle Daten herunterladen

Ergebnisse und Zeitstempel von 60 Datenpunkten. Laden Sie die Zusammenfassungsdaten aus den Diagrammen und Tabellen dieses Artikels als ZIP-Datei herunter, die 4 CSV-Dateien enthält.

Zuletzt aktualisiert: 19. Dezember 2025
Herunterladen

Möchten Sie die granularen Daten dahinter? Premium beitreten

Änderungsprotokoll

9 Aktualisierungen
  1. Azure Cognitive Service wurde im Abschnitt „Highlights“ durch Microsoft Azure Document Intelligence API ersetzt.

Şevval Alper
Şevval Alper
KI-Forscherin
Şevval ist KI-Forscherin bei AIMultiple. Sie hat bereits Forschungserfahrung in der Erzeugung von Pseudozufallszahlen mithilfe chaotischer Systeme.
Şevval konzentriert sich auf KI-Programmierwerkzeuge, KI-Agenten und Quantentechnologien.
Vollständiges Profil anzeigen

Kommentare 8

Teilen Sie Ihre Gedanken

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

0/450
Serhat Cinar
Serhat Cinar
Feb 28, 2025 at 09:34

Did you ever think of oncluding multimodal llms in your comparison, like gpt4o, llama 3.2. gemini, claude etc.?

Cem Dilmegani
Cem Dilmegani
Mar 17, 2025 at 02:59

Hi Serhat and thank you for your comment, Yes, we added those for which we have API access like Claude and GPT-4o.

DLJ
DLJ
Oct 17, 2024 at 11:14

Just stumbled on this milestone assessment update. Could you kindly elaborate further on the three revised datasets: Thanks for this work. Character Sets When someone refers to 'handriting', that can mean many things: 'handwriting style' typefaces (per Docusign, etc.), and hand-printed (block printing and mixed-case printing) as often found in combs and box delineators, and finally, cursive or longhand writing (exclusive of signatures). Character Context Structured content, semi-structured content, and unstructured content. Image Qualities (bitonal, greyscale, full colour, spatial dpi, from a scanner/cell-phone/native rendering, image 'enhancements' prior to OCR (thickening, local gamma, background dropout, sharpening, smoothing, noise removal, etc.) These can have significant impacts, and some don't realize the importance of including these benchmark differentiators.

Cem Dilmegani
Cem Dilmegani
Oct 22, 2024 at 03:15

Hi there, thank you for the detailed comment, we are updating the article to include these details.

Webster
Webster
Feb 05, 2023 at 07:24

Hello, great work! Just curious, did you use a trained Tesseract when making these testing?

Bardia Eshghi
Bardia Eshghi
Feb 06, 2023 at 12:29

Hi, Webster. Glad you enjoyed the article. The tools we tested were: ABBYY FineReader 15 Amazon Textract Google Cloud Platform Vision API Microsoft Azure Computer Vision API Tesseract OCR Engine Hope this answers your question.

Bobby
Bobby
Aug 14, 2022 at 23:54

The graph images are not working for me at the moment. Otherwise great

Cem Dilmegani
Cem Dilmegani
Aug 15, 2022 at 14:48

Thank you Bobby! We have a glitch in the CMS and we are fixing it. Apologies for the issue, it should be fixed next week.

samsun
samsun
Jun 07, 2022 at 14:10

Thanks for sharing, can you add a free OCR for everyone to use? https://www.geekersoft.com/ocr-online.html

Cem Dilmegani
Cem Dilmegani
Aug 17, 2022 at 07:46

Hi Samsun, unfortunately, we don't share all OCR providers on this page, there are thousands of them. We tried to put together the largest ones in terms of market presence. If you have evidence that your solution is one of the top 10 globally, please share it with us at info@aimultiple.com so we can consider it.

Scott
Scott
Jan 20, 2022 at 20:42

What version of Tesseract did you test with? They recently released v5.

Cem Dilmegani
Cem Dilmegani
Aug 23, 2022 at 12:01

Hi Scott, we did the benchmarking before Tesseract 5. We will redo it soon and include the versions in the methodology section as well.

Bob
Bob
Jan 12, 2022 at 15:09

This is very informative, nice work. I assume your tests used documents/images in English? I've been experimenting with OCR tools on other languages and finding relatively poor accuracy.

Cem Dilmegani
Cem Dilmegani
Jan 15, 2022 at 13:52

Exactly, all text were in English. I hear similar things about OCR on non-Latin characters. We have an Arabic speaker in the team who claims that accuracy in Arabic is much lower compared to English. We can do a benchmark on non-Latin characters if there is demand for it.

kin
kin
Jun 21, 2021 at 02:22

interesting post!!! do you have any suggestion about improving accuracy on scanned image ? i'm using tesseract right now. anyway , great work!

Cem Dilmegani
Cem Dilmegani
Jun 22, 2021 at 07:50

Thank you for the comment. There are pre-processing approaches that can be implemented to improve image quality. But such approaches may already be used in Tesseract. A detailed research into Tesseract image processing would be helpful in your case.

Wir folgen ethischen Normen & unserem Prozess für Objektivität. Auf dieser Seite werden keine Abonnenten der Benchmarking-Dienste von AIMultiple erwähnt.