Benchmark OCR sulle Fatture: Accuratezza nell'Estrazione degli LLM vs OCR
L'elaborazione delle fatture è un'operazione aziendale critica ma ad alta intensità di lavoro che tradizionalmente richiede l'estrazione manuale dei dati e l'inserimento nei sistemi contabili. Questo approccio manuale richiede molto tempo ed è soggetto a errori umani. Per valutare le alternative automatizzate, abbiamo condotto un'analisi comparativa delle principali soluzioni di elaborazione documentale e degli LLM:
- Amazon Textract API
- Claude Sonnet 3.5
- Docsumo
- Google Document IA
- Microsoft Azure Document Intelligence
- Rossum
Il nostro studio ha valutato la capacità di questi strumenti nell'estrarre accuratamente i dati da formati e qualità di fatture diverse, con l'obiettivo di quantificare la loro efficacia come alternative all'elaborazione manuale.
Risultati del benchmark
Abbiamo valutato le prestazioni di elaborazione delle fatture su fatture di qualità e livelli di contrasto variabili. Sebbene tutti gli strumenti abbiano dimostrato ottime prestazioni con immagini di alta qualità, la loro accuratezza è diminuita significativamente nell'elaborazione di documenti di qualità inferiore. Tra gli strumenti testati, Claude Sonnet 3.5 ha mostrato la massima accuratezza complessiva e resilienza sull'intero spettro delle qualità documentali.
Metodologia
Misurazione: La nostra metodologia di valutazione si è concentrata sull'accuratezza dell'estrazione delle coppie chiave-valore. Ogni campo estratto è stato valutato utilizzando una classificazione binaria: estrazione corretta o estrazione errata/mancante. La metrica di accuratezza è stata calcolata utilizzando la seguente formula:
Accuratezza = (Numero di Coppie Chiave-Valore Estratte Correttamente) / (Numero Totale di Coppie Chiave-Valore)
Questa metodologia ha consentito un confronto oggettivo delle prestazioni di estrazione tra diversi strumenti e tipologie di documenti.
Dimensione del campione: Trovare dati sulle fatture è difficile poiché contengono informazioni personali come email e nomi. Abbiamo utilizzato più di 400 coppie chiave-valore provenienti da 20 campioni di fatture pubblicamente disponibili.
Campioni: Sebbene tutte le soluzioni abbiano elaborato correttamente le immagini di alta qualità, la qualità dell'estrazione è diminuita in immagini come queste:
Fine-tuning: Sebbene i prodotti che abbiamo provato siano riusciti a trovare gli importi totali, hanno avuto problemi nell'estrarre i dettagli dei prezzi. È possibile ottenere risultati migliori eseguendo il fine-tuning di alcuni prodotti. In alcuni prodotti, gli utenti possono cliccare su un valore nell'immagine per correggere l'output del modello.
Per essere equi verso tutti i fornitori, non abbiamo eseguito alcun fine-tuning. Con il fine-tuning, tutti i fornitori dovrebbero essere in grado di raggiungere tassi di successo più elevati la seconda volta che elaborano questi documenti. Tuttavia, il nostro focus in questo benchmark è sulle operazioni autonome, che richiedono ai modelli di produrre risultati corretti e affidabili da documenti che non hanno mai visto prima.
Tempistica: Tutti i test sono stati completati a dicembre 2024.
Prossimi passi
Aumento dei partecipanti: Poiché questo studio fornisce approfondimenti sulle attuali capacità di elaborazione delle fatture tra i Large Language Models (LLM), le tecnologie OCR e gli strumenti specializzati di elaborazione delle fatture, prevediamo di espandere la nostra analisi incorporando ulteriori LLM all'avanguardia per fornire un benchmark più completo delle soluzioni automatizzate di elaborazione delle fatture.
Aumento della dimensione e della diversità del campione.
Cos'è l'OCR per le fatture?
L'analisi delle fatture utilizza strumenti automatizzati come NLP, NLU, OCR e altre tecnologie di estrazione dati per estrarre informazioni dalle fatture in vari formati, come PDF e immagini.
Un parser di fatture è un programma software che estrae informazioni come
Nome del fornitore
Numero della fattura
Importo dovuto
e le inserisce in un formato leggibile dalla macchina. Questi dati possono essere utilizzati per molteplici funzioni, come l'automazione della contabilità fornitori, il completamento delle chiusure contabili di fine mese e la gestione delle fatture.
Il software parser è solitamente integrato in un sistema di elaborazione delle fatture che automatizza l'intero processo, dalla ricezione di una fattura fino al pagamento.
Come funzionano gli strumenti OCR per le fatture?
I documenti scritti in un determinato linguaggio di markup vengono letti e gestiti dai parser. Essi suddividono il documento in parti più piccole, chiamate token, ed esaminano ciascun token per determinare cosa significhi e dove si collochi all'interno della struttura del documento.
Per fare ciò, i parser devono conoscere a fondo la grammatica del linguaggio di markup in questione. Ciò consente loro di riconoscere ogni token e determinare le esatte connessioni tra di essi.
Il processo include 5 fasi:
1. Input
Le fatture possono essere ricevute in una varietà di formati, inclusi carta, email o formati elettronici come PDF o XML. Il software parser di fatture generalmente accetta queste fatture come input.
2. Riconoscimento Ottico dei Caratteri (OCR)
Se la fattura è in formato cartaceo scansionato o immagine, il parser utilizzerà la tecnologia OCR per estrarre il testo dall'immagine. Ciò consente al parser di accedere ai dati contenuti nella fattura.
Alcune soluzioni di analisi delle fatture utilizzano strumenti OCR potenziati dall'IA o LLM che estraggono automaticamente informazioni da PDF, foto e documenti scansionati senza la necessità di nuove regole o modelli. Questo perché l'IA può gestire documenti semi-strutturati e non familiari e migliorare nel tempo. Le informazioni estratte possono essere personalizzate per includere solo tabelle o voci di dati specifiche.
3. Estrazione dei dati
Il parser estrarrà quindi informazioni specifiche dalla fattura, come il nome del fornitore, il numero della fattura, la data e i dettagli degli articoli. Ciò si ottiene tipicamente utilizzando una combinazione di riconoscimento di pattern e algoritmi di machine learning.
Alcuni software di analisi delle fatture hanno la capacità di estrarre informazioni chiave come la data della fattura, il numero, i codici fiscali e vari totali utilizzando filtri predefiniti:
Alcuni strumenti parser offrono la possibilità di estrarre informazioni sulle linee articolo da fatture con un formato coerente, creando un parser di documenti separato per ogni layout specifico di fornitore o partner commerciale:
4. Validazione dei dati
Una volta estratti i dati, il parser convaliderà le informazioni per garantire che siano accurate e complete. Ciò può includere la verifica che la data sia nel formato corretto, che il nome del fornitore corrisponda a un elenco predefinito di fornitori o che i dettagli degli articoli corrispondano al formato previsto.
5. Output dei dati
I dati estratti e convalidati vengono quindi restituiti in un formato che può essere facilmente importato nel sistema contabile o ERP dell'utente. Ciò può avvenire sotto forma di file CSV, record di database o direttamente in un software di contabilità.
Aggiungi come fonte preferitaSfide nell'estrazione manuale dei dati dalle fatture
L'estrazione manuale dei dati dalle fatture e il loro inserimento in un sistema può essere difficile per le aziende, poiché presenta diverse complessità:
Errore umano
Le fatture possono contenere una grande quantità di dati e l'inserimento manuale aumenta il rischio di errori, come errori di battitura, trasposizione di numeri e inserimento errato dei dati. Le imprecisioni nell'inserimento dei dati sono responsabili di una perdita annua stimata di $600 miliardi.1 Processi come la contabilità fornitori necessitano di un'esportazione corretta dei dati dai documenti finanziari.
Dispendio di tempo
In media, ci vogliono 17 giorni, ovvero circa il 75% di un mese, per elaborare manualmente una singola fattura.2
Molte informazioni importanti sono incluse nelle fatture e sono tutte presentate in uno stile chiave-valore in cui ogni voce funge sia da chiave che da valore. Il processo di estrazione manuale di queste coppie richiede molto tempo e necessita di ispezioni multiple per garantire l'accuratezza. Persino alcuni algoritmi di OCR faticano a rilevare i valori estratti senza contesto. L'elaborazione automatizzata delle fatture può aiutare i dipendenti a concentrarsi su compiti più complessi.
Mancanza di standardizzazione
Le fatture di fornitori diversi possono avere formati diversi. Ogni fattura è generata con un formato unico che può creare difficoltà nell'elaborazione e nell'interpretazione di questi modelli. I documenti, come email, carta e PDF, possono passare attraverso numerosi registri digitali e cartacei prima di essere approvati per il pagamento, rendendo l'estrazione manuale dei dati complessa e soggetta a errori.
Inefficienza del processo
La gestione manuale delle fatture, che comporta un costo medio di quasi $23 per fattura3 , può essere sia dispendiosa in termini di tempo che costosa, portando a un processo inefficiente e ripetitivo.
Potenziale perdita di dati
Esiste il rischio di perdere dati se le fatture vengono smarrite o danneggiate o se i dati non vengono inseriti correttamente nel sistema.
I software OCR spesso incontrano difficoltà anche nell'estrarre le linee articolo dalle fatture. Questo perché le tabelle delle transazioni potrebbero non avere linee orizzontali o verticali, rendendo difficile per l'elaborazione ocr delle fatture stabilire il contesto per gli elementi estratti. Le fatture digitali raccolte o le immagini delle fatture possono essere utilizzate in questo processo.
Come scegliere il fornitore per l'elaborazione delle fatture?
1. Fornisce una soluzione in linea con le politiche di privacy dei dati della tua azienda.
La politica di privacy dei dati della tua azienda può essere un ostacolo insormontabile all'utilizzo di API esterne come Amazon AWS Textract. La maggior parte dei fornitori offre soluzioni on-premise, quindi le politiche di privacy dei dati non impedirebbero necessariamente alla tua azienda di utilizzare una soluzione di acquisizione delle fatture. Il flusso di lavoro della contabilità fornitori deve essere trattato con particolare attenzione poiché spesso coinvolge informazioni aziendali e finanziarie riservate.
2. Fornisce una struttura dati coerente indipendentemente dal testo sui documenti.
Esistono due modi in cui operano le aziende di acquisizione delle fatture basate sul deep learning. Aziende come Textract restituiscono coppie chiave-valore. Quindi, ad esempio, se una fattura chiama l'importo totale "Importo lordo", un'altra lo chiama "Importo totale" e un'altra fattura tedesca lo chiama "Summe", Textract fornisce i dati in 3 strutture diverse per questi 3 documenti.
In uno, hai una coppia chiave-valore con la chiave "Importo lordo", in un altro "Importo totale" e in quello tedesco ottieni "Summe". Altri fornitori hanno progettato strutture dati coerenti che funzionano per tutte le fatture. In tutti e 3 gli scenari, otterresti "Importo totale", che è la chiave che usano nel loro file di output. Ciò rende l'analisi e l'elaborazione più semplici poiché non devi gestire molti formati di dati strutturati diversi.
3. Chiedi i tassi di falsi positivi e di estrazione manuale dei dati
Poi esegui un progetto Proof of Concept (PoC) per vedere i tassi effettivi sulle fatture ricevute dalla tua azienda.
I falsi positivi sono fatture che vengono elaborate in automatico ma presentano errori nell'estrazione dei dati. Sono difficili da identificare e possono compromettere le operazioni. Ad esempio, un'estrazione errata degli importi di pagamento sarebbe problematica. Ridurre al minimo questo aspetto dovrebbe essere l'obiettivo assoluto.
L'estrazione manuale dei dati è necessaria quando il sistema di estrazione automatizzata ha una fiducia limitata nel suo risultato. Ciò potrebbe essere dovuto a un formato di fattura diverso, a una scarsa qualità dell'immagine o a un errore di stampa da parte del fornitore. Anche questo è importante da ridurre al minimo, ma esiste un compromesso tra falsi positivi ed estrazione manuale dei dati. Avere più estrazione manuale dei dati può essere preferibile rispetto ad avere falsi positivi.
Questo è il primo benchmarking quantitativo che abbiamo visto in questo ambito e seguiremo una metodologia simile per preparare il nostro benchmarking.
4. Sfrutta un PoC per misurare il potenziale tasso di automazione
Questo dipende dal numero di campi che prevedi di acquisire dai documenti. Un insieme tipico di circa 10 campi, inclusi elementi come ID dell'ordine di acquisto, nome del fornitore, ecc., può consentire l'inserimento dei dati nell'ERP e i pagamenti.
I fornitori best practice raggiungono circa l'80% di STP estraendo tutti questi circa 10 campi quasi senza errori circa l'80% delle volte. Sebbene possano verificarsi errori di tanto in tanto, il controllo manuale dei pagamenti più elevati può garantire che nessun pagamento errato significativo sfugga alla rete.
5. Chiedi le opzioni di elaborazione avanzate fornite dal fornitore
L'estrazione è il primo passo nella raccolta dei dati; nella maggior parte dei casi deve essere seguita dall'elaborazione dei dati. Ad esempio, le fatture devono essere verificate per la conformità IVA (ad es., le fatture nazionali senza IVA devono spiegare perché l'IVA è esclusa) e la mancata conformità potrebbe comportare multe significative per l'azienda, a seconda del paese.
6. Chiedi come la soluzione apprende dalle nuove fatture
Le migliori soluzioni dispongono di un'interfaccia che consente al tuo team di guidare la soluzione. Mentre il dipendente della tua azienda seleziona le coppie chiave-valore, la soluzione di acquisizione delle fatture prende nota in modo da poter essere più sicura su una fattura simile la prossima volta.
7. Valuta la facilità d'uso della loro soluzione di inserimento manuale dei dati
Sarà utilizzata dal personale di back-office della tua azienda mentre elabora manualmente le fatture che non possono essere elaborate automaticamente con sicurezza.
Oltre a ciò, le domande di procurement best practice hanno senso. Ad esempio:
- Quanto è ampiamente adottata la loro soluzione? Hanno clienti Fortune 500?
- I loro clienti sono soddisfatti della soluzione e del supporto? Potrebbe essere utile chiedere a un conoscente di un'azienda che sta già utilizzando la loro soluzione. Poiché l'automazione delle fatture non è una soluzione che migliorerebbe il marketing o le vendite di un'azienda, persino i concorrenti potrebbero condividere tra loro la loro opinione sulle soluzioni di automazione delle fatture.
- Quali sono le opzioni per integrare la soluzione nei sistemi della tua azienda (ad es., ERP)? L'IT è d'accordo con l'approccio di integrazione?
- Qual è il loro Total Cost of Ownership (TCO)? Diverse soluzioni utilizzano diverse unità di prezzo (ad es., prezzo per pagina o prezzo per documento), il che rende difficile questo confronto. Tuttavia, utilizzando un campione del tuo archivio, potresti avere una stima del costo.
Ulteriori letture
Cita questo benchmark
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{Benchmark OCR sulle Fatture: Accuratezza nell'Estrazione degli LLM vs OCR}},
year = {2026},
month = jan,
howpublished = {\url{https://aimultiple.com/invoice-ocr}},
note = {AIMultiple. Consultato il 22 Gennaio 2026}
}Collegamenti di riferimento
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.