OCR Benchmark: Estrazione del testo / Accuratezza dell'acquisizione
OCR l'accuratezza è fondamentale per molte attività di elaborazione dei documenti, e i LLM multi-modali SOTA offrono ora un'alternativa all'OCR. Abbiamo testato i principali servizi OCR in DeltOCR Bench per identificare i loro livelli di accuratezza nei diversi tipi di documenti:
- Scrittura a mano: GPT-5 (%95) si distingue come il performer più forte, seguito da vicino da olmOCR-2-7B (%94) e Gemini 2.5 Pro (%93).
- Media stampati: Gemini 2.5 Pro, Google Vision e Claude Sonnet 4.5 guidano questa categoria con il punteggio più alto (%85)
- Testo stampato: Microsoft Azure Document Intelligence API guida con un punteggio del %96.
OCR Benchmark: DeltOCR Bench
I nomi completi dei prodotti sopra e le loro versioni in uso a novembre 2025 sono elencati di seguito. Il nostro studio copre sia i servizi API facilmente accessibili che le soluzioni che richiedono un'infrastruttura on-premises, confrontando i modelli chiave sul mercato in un ambiente di test approfondito.
- Scrittura a mano:
- Intervallo di accuratezza: Un ampio intervallo dal %46 al %95.
- Alti livelli: GPT-5 (%95), olmOCR-2-7B (%94) e Gemini 2.5 Pro (%93) esibiscono le prestazioni più elevate. Questi alti punteggi dimostrano il potenziale di accuratezza straordinario dei LLM multi-modali, come GPT-5 e Gemini 2.5 Pro, in questo dominio.
- Raccomandazione: Per riconoscere scritture a mano altamente complesse, le migliori soluzioni LLM come GPT-5 o Gemini 2.5 Pro sono raccomandate per la loro accessibilità via API e facilità di integrazione.
- Media stampati:
- Intervallo di accuratezza: Un intervallo dal %54 al %85.
- Alti livelli: Soluzioni come Gemini 2.5 Pro, Google Vision e Claude Sonnet 4.5 condividono il punteggio più alto (%85). Questa categoria è altamente competitiva tra i LLM e i servizi OCR cloud tradizionali (Azure, Dots OCR, Amazon Textract). GPT-5 è in ritardo rispetto ad altri LLM leader in questa categoria (%77).
- Raccomandazione: Per documenti con layout visivi complessi (font multipli, bassa risoluzione, ecc.), i LLM come Gemini 2.5 Pro, o servizi cloud come Google Vision, o Microsoft Azure Document Intelligence API sono raccomandati.
- Testo stampato:
- Intervallo di accuratezza: Un intervallo alto dal %55 al %96, sebbene la maggior parte delle soluzioni leader abbia ottenuto punteggi del %94 e superiori.
- Alti livelli: Microsoft Azure Document Intelligence API (%96) prende la testa, seguito da vicino da soluzioni come GPT-5, Gemini 2.5 Pro, Gemini 3 Pro Preview, Google Vision e Amazon Textract, tutti con punteggio del %95. Questa categoria è un'area in cui tutte le soluzioni SOTA raggiungono livelli di accuratezza estremamente elevati.
- Raccomandazione: Per testi stampati semplici che richiedono alta accuratezza, soluzioni cloud consolidate come Microsoft Azure Document Intelligence API o Google Vision, o LLM ad alto punteggio (Gemini/GPT-5), possono essere utilizzati con fiducia.
API Solutions
I seguenti modelli sono stati inclusi nella nostra lista di benchmark a causa della loro facilità di accesso e delle prestazioni.
- Claude Sonnet 4.5
- OpenAI GPT-5
- Gemini 2.5 Pro
- Gemini 3 Pro Preview
- Amazon Textract API
- Google Cloud Vision API
- Microsoft Azure Document Intelligence API
- Moondream OCR
- Mistral OCR 3
- Mistral OCR 2
Microsoft Azure Document Intelligence API fa parte della famiglia di servizi cognitivi Azure.
Modelli locali (On-Premise) distribuiti
Il test di questi modelli è più impegnativo rispetto alle soluzioni API a causa dell'installazione, della gestione delle dipendenze e dei requisiti hardware. Tutti i test locali sono stati condotti in un ambiente server dedicato.
- olmOCR-2-7B
- PaddleOCR-VL
- Nanonets-OCR2-3B
- Deepseek-OCR
- Dots-OCR
Abbiamo calcolato l'accuratezza dei risultati come punteggio di similarità del coseno per testo stampato, media stampati e scrittura a mano. Ogni punteggio visibile nel grafico rappresenta le prestazioni del modello corrispondente all'interno di quella categoria.
Durante i nostri test, abbiamo osservato che il modello Nanonets-OCR2-3B ha fornito le prestazioni più deboli nel benchmark, ottenendo i punteggi più bassi. In generale, abbiamo scoperto che alcuni modelli hanno faticato in particolare con la scrittura a mano corsiva e layout di testo disorganizzati (ordinamento misto delle righe, capitalizzazione incoerente). Problemi di prestazioni simili sono emersi anche nella categoria dei media stampati, specialmente con immagini a bassa risoluzione e quelle contenenti stili di font multipli.
Dataset
Abbiamo utilizzato un totale di 300 documenti in questo benchmark, con 100 documenti per categoria su 3 categorie:
Testo stampato include lettere, screenshot di siti web, email, rapporti, ecc.
Media stampati include poster, copertine di libri, pubblicità, ecc. Abbiamo voluto vedere il successo degli strumenti OCR in diversi font e posizionamenti del testo.
I File in queste 2 categorie sono stati reperiti dalla Industry Documents Library (IDL).1
Scrittura a mano: Nella categoria manoscritta, poiché alcuni documenti IDL non erano facili da leggere, il nostro team ha generato documenti simili ai documenti IDL. Abbiamo preparato manualmente campioni di scrittura a mano leggibile dall'uomo. Tutti i campioni erano in uno stile di scrittura a mano corsiva.
Metodologia di DeltOCR Bench
Questo benchmark si concentra sull'accuratezza dell'estrazione del testo dei prodotti.
Il pre-processing viene eseguito solo per la categoria della scrittura a mano. Abbiamo scattato foto di documenti manoscritti con i nostri smartphone e utilizzato un'app di scansione mobile:
- Le immagini sono state convertite in bianco e nero
- Il contrasto è stato aumentato e lo sfondo è stato rimosso.
OCR: Abbiamo eseguito tutti i prodotti sullo stesso dataset e generato output di testo come file di testo grezzo (.txt). Quindi, abbiamo preparato manualmente la verità fondamentale includendo il testo corretto in tutti questi file. La verità fondamentale è stata verificata due volte da esseri umani.
Confronto: Abbiamo misurato l'accuratezza delle soluzioni OCR confrontando i loro output con i testi originali. A questo scopo, abbiamo utilizzato il framework Sentence-BERT (SBERT) per calcolare i punteggi di similarità del coseno. Nel benchmark, abbiamo utilizzato il modello di parafrasi multilingue ad alte prestazioni, MiniLM-L12-v2, per calcolare il punteggio di similarità tra l'output di ogni prodotto e i testi della verità fondamentale. Questo punteggio rappresenta il livello di accuratezza del testo.
La funzione di similarità utilizza una metrica di distanza del coseno per calcolare la similarità tra due testi. Non abbiamo utilizzato la distanza di Levenshtein per questo benchmark perché diversi prodotti outputano testi in ordini diversi.2
Mentre la distanza di Levenshtein tiene conto di queste differenze, stiamo cercando solo quanto accuratamente il testo viene rilevato, non dove si trova. La distanza del coseno ha penalità trascurabili per tali casi, quindi abbiamo deciso di utilizzarla in questo benchmark.
Selezione del prodotto
Ci sono molti prodotti OCR sul mercato. Dobbiamo concentrarci su quelli che possono outputare risultati di testo grezzo. I prodotti per questo benchmark sono scelti in base a:
- Capacità di estrarre testo. Non abbiamo incluso soluzioni che estraggono solo dati leggibili dalle macchine (cioè dati strutturati) in questo confronto
- La loro popolarità sul mercato
Questa non è una revisione completa del mercato e potremmo aver escluso alcuni prodotti con capacità significative. Se questo è il caso, lascia un commento e saremo felici di espandere il benchmark.
Limitazioni
Capacità avanzate come il rilevamento della posizione del testo, l'accoppiamento chiave-valore e la classificazione dei documenti non sono state valutate in questo benchmark.
La dimensione del campione verrà aumentata nella prossima iterazione. Se stai cercando OCR per la scrittura a mano, vedi il nostro benchmark OCR per la scrittura a mano con 50 campioni.
Puoi anche vedere il nostro benchmark OCR per le fatture e benchmark OCR per gli scontrini se sei interessato.
Risultati precedenti del benchmark OCR
- Google Cloud Vision e AWS Textract sono le tecnologie leader sul mercato per tutti i casi
- Abbyy ha anche alte prestazioni per i documenti non manoscritti
- Tutti gli OCR testati, incluso l'open source Tesseract, hanno funzionato bene sugli screenshot digitali.
Lo strumento OCR Vision di Google Cloud Platform raggiunge la massima accuratezza del testo del 98,0% quando l'intero dataset viene testato. Mentre tutti i prodotti performano sopra il 99,2% con la Categoria 1, dove sono inclusi testi dattiloscritti, le immagini manoscritte nella Categoria 2 e 3 creano la vera differenza tra i prodotti.
I risultati complessivi mostrano che GCP Vision e AWS Textract sono i prodotti OCR dominanti, con la massima accuratezza nel riconoscere il testo dato.
Note dai risultati complessivi:
- C'è un'unica volta in cui AWS Textract non è riuscito a riconoscere il testo manoscritto. Questa situazione riduce significativamente la categoria e le prestazioni totali di AWS Textract. Aumenta anche la deviazione all'interno della categoria e complessivamente, perché AWS Textract performa molto bene in tutte le altre istanze.
- Azure è il prodotto leader nella Categoria 1 con il 99,8% di accuratezza. Tuttavia, il prodotto spesso non riesce a riconoscere il testo manoscritto, come mostrato nei risultati per la seconda categoria. Questo è il motivo per cui Azure rimane indietro nella terza categoria e complessivamente.
- Tesseract OCR è un prodotto open-source che può essere utilizzato gratuitamente. Rispetto a Azure e ABBYY, performa meglio nelle istanze manoscritte e può essere considerato per il riconoscimento della scrittura a mano se l'utente non può ottenere prodotti AWS o GCP. Tuttavia, potrebbe performare male nelle immagini scansionate.
- A differenza di altri prodotti, ABBYY outputa un file .txt più strutturato. ABBYY considera anche la posizione del testo all'interno dell'immagine quando genera il file di output. Sebbene il prodotto abbia capacità aggiuntive utili, ci stiamo concentrando solo sull'accuratezza del testo in questo benchmark. E ha performato male nel riconoscimento della scrittura a mano.
Rimozione dell'immagine "Trouble-Maker"
Come menzionato nei risultati complessivi, c'era un'unica immagine "outlier" in cui AWS Textract non è riuscito a riconoscere alcun testo. Mentre il prodotto mostra un'accuratezza del testo superiore al 95% in tutte le altre immagini, questa istanza ha ridotto le prestazioni di AWS e allargato il suo intervallo di confidenza.
Poiché questa istanza potrebbe essere un'eccezione, abbiamo anche voluto confrontare i prodotti senza di essa. Abbiamo chiamato questa immagine "troublemaker" e abbiamo rieseguito i nostri risultati per vedere se facevano una differenza.
Ecco i nuovi risultati dopo aver escluso il "trouble-maker" dal dataset.
Quando il "trouble-maker" è escluso, AWS Textract diventa il performer migliore con un livello di accuratezza del testo quasi perfetto (99,3%) con un intervallo di confidenza stretto. Mentre i punteggi non cambiano molto, GCP Vision e AWS Textract rimangono i primi 2 prodotti, con una migliore accuratezza del testo rispetto agli altri.
Risultati senza riconoscimento della scrittura a mano
Il fattore principale che riduce l'accuratezza del testo di certi prodotti è la presenza di scrittura a mano nelle immagini. Pertanto, abbiamo escluso tutte le immagini (tutte le immagini della categoria 2 e 6 immagini dalla categoria 3) e abbiamo rivalutato le prestazioni di accuratezza del testo, ancora una volta.
I risultati sono più testa a testa quando le immagini manoscritte sono escluse. AWS Textract e GCP Vision rimangono i primi 2 prodotti nel benchmark, ma ABBYY FineReader performa anche molto bene (99,3%) questa volta. Sebbene tutti i prodotti raggiungano oltre il 95% di accuratezza quando la scrittura a mano è esclusa, Azure Computer Vision e Tesseract OCR faticano ancora con i documenti scansionati, mettendoli indietro in questo confronto.
Prodotti testati
Abbiamo testato cinque prodotti OCR per misurare le loro prestazioni di accuratezza del testo. Abbiamo utilizzato le versioni disponibili a maggio/2021. I prodotti utilizzati sono:
- ABBYY FineReader 15
- Amazon Textract
- Google Cloud Platform Vision API
- Microsoft Azure Computer Vision API
- Tesseract OCR Engine
Dataset
Sebbene ci siano molti dataset di immagini per OCR, questi sono
- per lo più a livello di carattere e non conformi ai casi d'uso aziendali reali
- o si concentrano sulla posizione del testo piuttosto che sul testo stesso.
Quindi, abbiamo deciso di creare il nostro dataset sotto tre categorie principali:
- Categoria 1 – Screenshot di pagine web che includono testi: Questa categoria include screenshot da pagine Wikipedia casuali e risultati di ricerca Google con query casuali.
- Categoria 2 – Scrittura a mano: Questa categoria include foto casuali che includono diversi stili di scrittura a mano.
- Categoria 3 – Ricevute, fatture e contratti scansionati: Questa categoria include una raccolta casuale di ricevute, fatture manoscritte e contratti assicurativi scansionati raccolti da internet.
Tutti i file di input sono in formato .jpg o .png.
Limitazioni
- Dataset limitato: Inizialmente, avevamo una quarta categoria composta da foto di giornali per valutare le prestazioni dei prodotti nei documenti stampati. Tuttavia, queste foto contengono troppo testo, rendendo difficile generare la verità fondamentale. Quindi, abbiamo deciso di non usarle.
- Incoerenze nei formati di output: Molte immagini includono istanze di testo separato sui lati sinistro e destro. I prodotti estraggono questi testi in ordini diversi, causando file di output diversi, sebbene i testi siano rilevati accuratamente. Questa situazione ci ha impedito di utilizzare altre misure di distanza (come la distanza di Levenshtein) e ha limitato le nostre opzioni per calcolare l'accuratezza del testo.
- Possibile problema con la distanza del coseno: La distanza del coseno utilizza embedding mentre calcola la similarità. Ad esempio, confrontare le frasi "Mi piace il tè" e "Mi piace il caffè" darebbe un punteggio di similarità più alto di quanto dovrebbe. Tuttavia, casi come confondere la parola "tè" con "caffè" sarebbero rari, quindi non abbiamo considerato questa possibilità in questo esercizio.
Utilizziamo altri dati di mercato (ad esempio recensioni di software, studi di casi dei clienti) per classificare i fornitori di software. Tuttavia, poiché la maggior parte delle aziende utilizza il termine "OCR" quando cerca soluzioni di estrazione dei dati (cioè includendo quelle che generano dati leggibili dalle macchine), la nostra lista ha un ambito più ampio e più aziende rispetto a quelle presentate in questo esercizio di benchmarking.
Aggiungi come fonte preferitaFAQ
Riconoscimento ottico dei caratteri (OCR) è un campo del machine learning che si specializza nel distinguere i caratteri all'interno di immagini come documenti scansionati, libri stampati o foto. Sebbene sia una tecnologia matura, non ci sono ancora prodotti OCR che possono riconoscere tutti i tipi di testo con il 100% di accuratezza. Tra i prodotti che abbiamo testato, solo pochi prodotti hanno potuto outputare risultati di successo dal nostro set di test.
Gli strumenti OCR sono utilizzati dalle aziende per identificare testi e le loro posizioni nelle immagini, classificare documenti aziendali in base agli argomenti o condurre l'accoppiamento chiave-valore all'interno dei documenti. In base ai risultati OCR, altre aziende tecnologiche costruiscono applicazioni come automazione dei documenti. Per tutti questi casi d'uso aziendali, il riconoscimento accurato del testo è fondamentale per un prodotto OCR.
Cita questo benchmark
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Alper, Şevval},
title = {{OCR Benchmark: Estrazione del testo / Accuratezza dell'acquisizione}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/ocr-accuracy}},
note = {AIMultiple. Consultato il 29 Giugno 2026}
}Collegamenti di riferimento
Commenti 8
Condividi i tuoi pensieri
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.
Did you ever think of oncluding multimodal llms in your comparison, like gpt4o, llama 3.2. gemini, claude etc.?
Hi Serhat and thank you for your comment, Yes, we added those for which we have API access like Claude and GPT-4o.
Just stumbled on this milestone assessment update. Could you kindly elaborate further on the three revised datasets: Thanks for this work. Character Sets When someone refers to 'handriting', that can mean many things: 'handwriting style' typefaces (per Docusign, etc.), and hand-printed (block printing and mixed-case printing) as often found in combs and box delineators, and finally, cursive or longhand writing (exclusive of signatures). Character Context Structured content, semi-structured content, and unstructured content. Image Qualities (bitonal, greyscale, full colour, spatial dpi, from a scanner/cell-phone/native rendering, image 'enhancements' prior to OCR (thickening, local gamma, background dropout, sharpening, smoothing, noise removal, etc.) These can have significant impacts, and some don't realize the importance of including these benchmark differentiators.
Hi there, thank you for the detailed comment, we are updating the article to include these details.
Hello, great work! Just curious, did you use a trained Tesseract when making these testing?
Hi, Webster. Glad you enjoyed the article. The tools we tested were: ABBYY FineReader 15 Amazon Textract Google Cloud Platform Vision API Microsoft Azure Computer Vision API Tesseract OCR Engine Hope this answers your question.
The graph images are not working for me at the moment. Otherwise great
Thank you Bobby! We have a glitch in the CMS and we are fixing it. Apologies for the issue, it should be fixed next week.
Thanks for sharing, can you add a free OCR for everyone to use? https://www.geekersoft.com/ocr-online.html
Hi Samsun, unfortunately, we don't share all OCR providers on this page, there are thousands of them. We tried to put together the largest ones in terms of market presence. If you have evidence that your solution is one of the top 10 globally, please share it with us at info@aimultiple.com so we can consider it.
What version of Tesseract did you test with? They recently released v5.
Hi Scott, we did the benchmarking before Tesseract 5. We will redo it soon and include the versions in the methodology section as well.
This is very informative, nice work. I assume your tests used documents/images in English? I've been experimenting with OCR tools on other languages and finding relatively poor accuracy.
Exactly, all text were in English. I hear similar things about OCR on non-Latin characters. We have an Arabic speaker in the team who claims that accuracy in Arabic is much lower compared to English. We can do a benchmark on non-Latin characters if there is demand for it.
interesting post!!! do you have any suggestion about improving accuracy on scanned image ? i'm using tesseract right now. anyway , great work!
Thank you for the comment. There are pre-processing approaches that can be implemented to improve image quality. But such approaches may already be used in Tesseract. A detailed research into Tesseract image processing would be helpful in your case.