Benchmark OCR per fatture: accuratezza di estrazione tra LLM e OCR
L'elaborazione delle fatture è un'operazione aziendale critica ma ad alta intensità di lavoro, che tradizionalmente richiede l'estrazione e l'inserimento manuale dei dati nei sistemi contabili. Questo approccio manuale è dispendioso in termini di tempo e soggetto a errori umani. Per valutare le alternative automatizzate, abbiamo condotto un'analisi comparativa delle principali soluzioni di elaborazione documentale e dei sistemi di gestione dei crediti (LLM):
- API Amazon Textraw
- Claude Sonnet 3.5
- Docsumo
- Google Documento AI
- Microsoft Documento Azure Intellicenza
- Rossum
Il nostro studio ha valutato le capacità di questi strumenti nell'estrarre dati in modo accurato da diversi formati e tipologie di fatture, con l'obiettivo di quantificarne l'efficacia come alternative all'elaborazione manuale.
Risultati del benchmark
Abbiamo valutato le prestazioni di elaborazione delle fatture su documenti di qualità e contrasto variabili. Sebbene tutti gli strumenti abbiano dimostrato ottime prestazioni con immagini di alta qualità, la loro accuratezza è diminuita significativamente durante l'elaborazione di documenti di qualità inferiore. Tra gli strumenti testati, Claude Sonnet 3.5 ha mostrato la massima accuratezza e resilienza complessive nell'intero spettro di qualità dei documenti.
Metodologia
Misurazione: La nostra metodologia di valutazione si è concentrata sull'accuratezza dell'estrazione delle coppie chiave-valore. Ogni campo estratto è stato valutato utilizzando una classificazione binaria: estrazione corretta o estrazione errata/mancante. La metrica di accuratezza è stata calcolata utilizzando la seguente formula:
Accuratezza = (Numero di coppie chiave-valore estratte correttamente) / (Numero totale di coppie chiave-valore)
Questa metodologia ha permesso un confronto oggettivo delle prestazioni di estrazione tra diversi strumenti e tipologie di documenti.
Dimensione del campione: reperire i dati delle fatture è una sfida, poiché implicano informazioni personali come indirizzi email e nomi. Abbiamo utilizzato più di 400 coppie chiave-valore provenienti da 20 esempi di fatture disponibili pubblicamente.
Esempi: Sebbene tutte le soluzioni abbiano elaborato correttamente immagini di alta qualità, la qualità dell'estrazione è diminuita in immagini come queste:
Ottimizzazione : Sebbene i prodotti che abbiamo testato siano riusciti a calcolare gli importi totali, presentavano problemi nell'estrarre i dettagli dei prezzi. È possibile ottenere risultati migliori ottimizzando alcuni prodotti. In alcuni prodotti, gli utenti possono cliccare su un valore nell'immagine per correggere l'output del modello.
Per correttezza nei confronti di tutti i fornitori, non abbiamo effettuato alcuna ottimizzazione. Con l'ottimizzazione, tutti i fornitori dovrebbero essere in grado di ottenere tassi di successo più elevati al secondo tentativo di elaborazione di questi documenti. Tuttavia, in questo benchmark ci concentriamo sulle operazioni autonome, che richiedono ai modelli di produrre risultati corretti e affidabili a partire da documenti mai visti prima.
Cronologia: Tutti i test sono stati completati nel dicembre 2024.
Prossimi passi
Aumento dei partecipanti: Poiché questo studio fornisce informazioni sulle attuali capacità di elaborazione delle fatture attraverso i Large Language Models (LLM), le tecnologie OCR e gli strumenti specializzati per l'elaborazione delle fatture, prevediamo di ampliare la nostra analisi includendo ulteriori LLM all'avanguardia per fornire un benchmark più completo delle soluzioni automatizzate di elaborazione delle fatture.
Aumento delle dimensioni e della diversità del campione .
Che cos'è l'OCR per le fatture?
L'analisi delle fatture utilizza strumenti automatizzati come NLP , NLU , OCR e altre tecnologie di estrazione dati per estrarre informazioni dalle fatture in vari formati, come PDF e immagini.
Un analizzatore di fatture è un programma software che estrae informazioni quali:
Nome del fornitore
Numero di fattura
Importo dovuto
e li inserisce in un formato leggibile dalla macchina. Questi dati possono essere utilizzati per molteplici funzioni, come l'automazione della contabilità fornitori , il completamento delle chiusure contabili di fine mese e la gestione delle fatture.
Il software di analisi sintattica è solitamente integrato in un sistema di elaborazione delle fatture che automatizza l'intero processo, dalla ricezione della fattura al pagamento.
Come funzionano gli strumenti OCR per le fatture?
I documenti scritti in un determinato linguaggio di markup vengono letti ed elaborati dai parser. Questi scompongono il documento in parti più piccole, chiamate token, ed esaminano ciascun token per determinarne il significato e la posizione all'interno della struttura del documento.
Per fare ciò, i parser devono conoscere a fondo la grammatica del linguaggio di markup in questione. Questo permette loro di riconoscere ogni token e di determinare le connessioni esatte tra di essi.
Il processo si articola in 5 fasi:
1. Input
Le fatture possono essere ricevute in diversi formati, tra cui cartaceo, via e-mail o in formato elettronico come PDF o XML. Il software di analisi delle fatture in genere accetta questi formati come input.
2. Riconoscimento ottico dei caratteri (OCR)
Se la fattura è in formato cartaceo scansionato o in formato immagine, il parser utilizzerà la tecnologia OCR per estrarre il testo dall'immagine. Ciò consente al parser di accedere ai dati contenuti nella fattura.
Alcune soluzioni di analisi delle fatture utilizzano strumenti OCR basati sull'intelligenza artificiale o LLM (Latent Library Models) che estraggono automaticamente informazioni da PDF, foto e documenti scansionati senza la necessità di nuove regole o modelli. Questo perché l'IA è in grado di gestire documenti semi-strutturati e non familiari e di migliorare nel tempo. Le informazioni estratte possono essere personalizzate per includere solo tabelle o voci di dati specifiche.
3. Estrazione dei dati
Il parser estrarrà quindi informazioni specifiche dalla fattura, come il nome del fornitore, il numero di fattura, la data e i dettagli degli articoli. Questo viene in genere realizzato utilizzando una combinazione di algoritmi di riconoscimento di pattern e apprendimento automatico.
Alcuni software di analisi delle fatture sono in grado di estrarre informazioni chiave come la data della fattura, il numero, i codici fiscali e vari totali utilizzando filtri predefiniti:
Alcuni strumenti di analisi offrono la possibilità di estrarre le informazioni relative alle singole voci delle fatture con un formato coerente, creando un analizzatore di documenti separato per ogni specifico fornitore o partner commerciale:
4. Validazione dei dati
Una volta estratti i dati, il parser convaliderà le informazioni per assicurarsi che siano accurate e complete. Questo può includere la verifica che la data sia nel formato corretto, che il nome del fornitore corrisponda a un elenco predefinito di fornitori o che i dettagli dell'articolo corrispondano al formato previsto.
5. Output dei dati
I dati estratti e validati vengono quindi esportati in un formato facilmente importabile nel sistema contabile o ERP dell'utente. Questo formato può essere un file CSV, un record di database o l'importazione diretta in un software di contabilità.
Difficoltà legate all'estrazione manuale dei dati delle fatture
L'estrazione manuale dei dati dalle fatture e il loro inserimento in un sistema possono risultare complessi per le aziende, a causa di diverse problematiche:
Errore umano
Le fatture possono contenere una grande quantità di dati e l'inserimento manuale aumenta il rischio di errori, come refusi, inversioni di cifre e immissione errata dei dati. Si stima che le imprecisioni nell'inserimento dei dati causino perdite annuali per circa 600 miliardi di dollari. 1 Processi come la contabilità fornitori necessitano di un'esportazione corretta dei dati dai documenti finanziari.
Richiede tempo
In media, l'elaborazione manuale di una singola fattura richiede 17 giorni, ovvero circa il 75% di un mese. 2
Le fatture contengono numerose informazioni importanti, presentate in un formato chiave-valore in cui ogni elemento funge sia da chiave che da valore. L'estrazione manuale di queste coppie richiede molto tempo e diverse verifiche per garantirne l'accuratezza. Persino alcuni algoritmi OCR faticano a rilevare i valori estratti senza contesto. L'elaborazione automatizzata delle fatture può consentire ai dipendenti di concentrarsi su attività più complesse.
Mancanza di standardizzazione
Le fatture provenienti da diversi fornitori possono avere formati differenti. Ogni fattura viene generata con un formato univoco, il che può comportare difficoltà nell'elaborazione e nell'interpretazione di tali modelli. I documenti, come e-mail, documenti cartacei e PDF, possono passare attraverso numerosi archivi digitali e cartacei prima di essere approvati per il pagamento, rendendo l'estrazione manuale dei dati complessa e soggetta a errori.
Inefficienza del processo
La gestione manuale delle fatture, che comporta un costo medio di quasi 23 dollari per fattura 3 , può essere sia dispendioso in termini di tempo che costoso, dando luogo a un processo inefficiente e ripetitivo.
potenziale perdita di dati
Esiste il rischio di perdere dati se le fatture vengono smarrite o danneggiate, oppure se i dati non vengono inseriti correttamente nel sistema.
Anche i software OCR spesso incontrano difficoltà nell'estrarre le singole voci dalle fatture. Questo perché le tabelle delle transazioni possono essere prive di linee orizzontali o verticali, rendendo difficile per l'elaborazione OCR delle fatture stabilire il contesto per le voci estratte. In questo processo è possibile utilizzare fatture digitali o immagini di fatture.
Come scegliere il fornitore di servizi di elaborazione delle fatture?
1. Offre una soluzione in linea con le politiche di protezione dei dati della vostra azienda.
La politica sulla privacy dei dati della tua azienda potrebbe rappresentare un ostacolo insormontabile all'utilizzo di API esterne come Amazon AWS Textract. La maggior parte dei fornitori offre soluzioni on-premise, quindi le politiche sulla privacy dei dati non impedirebbero necessariamente alla tua azienda di utilizzare una soluzione per l'acquisizione delle fatture. Il flusso di lavoro della contabilità fornitori deve essere gestito con particolare attenzione, poiché spesso coinvolge informazioni aziendali e finanziarie riservate.
2. Fornire una struttura dati coerente indipendentemente dal testo presente nei documenti.
Esistono due modalità operative per le aziende che utilizzano il deep learning per l'acquisizione di fatture. Aziende come Textract restituiscono coppie chiave-valore. Ad esempio, se una fattura indica l'importo totale come "Importo lordo", un'altra come "Importo totale" e un'altra ancora come "Somma", Textract fornisce i dati in 3 strutture diverse per questi 3 documenti.
In un caso, si ha una coppia chiave-valore con la chiave "Importo lordo", in un altro "Importo totale" e in quello tedesco si ottiene "Somma". Altri fornitori hanno progettato strutture dati coerenti che funzionano per tutte le fatture. In tutti e tre gli scenari, si otterrebbe "Importo totale", che è la chiave utilizzata nel loro file di output. Ciò semplifica l'analisi e l'elaborazione, poiché non è necessario gestire molti formati di dati strutturati diversi.
3. Richiedere i tassi di falsi positivi e di estrazione manuale dei dati
Successivamente, esegui un progetto Proof of Concept (PoC) per visualizzare le tariffe effettive sulle fatture ricevute dalla tua azienda.
I falsi positivi sono fatture elaborate automaticamente ma che presentano errori nell'estrazione dei dati. Sono difficili da identificare e possono interrompere le operazioni. Ad esempio, un'estrazione errata degli importi di pagamento sarebbe problematica. Ridurre al minimo questo problema dovrebbe essere la priorità assoluta.
L'estrazione manuale dei dati è necessaria quando il sistema di estrazione automatica ha una fiducia limitata nei risultati ottenuti. Ciò può essere dovuto a un formato di fattura diverso, a una scarsa qualità dell'immagine o a un errore di stampa da parte del fornitore. Anche questo aspetto è importante da ridurre al minimo, ma esiste un compromesso tra falsi positivi ed estrazione manuale dei dati. Un maggior numero di estrazioni manuali può essere preferibile a un maggior numero di falsi positivi.
Questo è il primo benchmarking quantitativo che vediamo in questo ambito e seguiremo una metodologia simile per preparare il nostro.
4. Utilizzare una PoC per misurare il potenziale tasso di automazione
Dipende dal numero di campi che si prevede di acquisire dai documenti. Un set tipico di circa 10 campi, inclusi elementi come ID ordine di acquisto, nome fornitore, ecc., può consentire l'inserimento dei dati nel sistema ERP e nei pagamenti.
I fornitori che adottano le migliori pratiche raggiungono circa l'80% di STP (Single Transfer Processing) estraendo tutti questi circa 10 campi con un numero di errori pressoché nullo nell'80% dei casi. Sebbene possano verificarsi errori occasionalmente, la verifica manuale dei pagamenti più consistenti può garantire che nessun pagamento errato di rilievo sfugga al controllo.
5. Richiedi le opzioni di elaborazione avanzate fornite dal fornitore
L'estrazione è il primo passo nella raccolta dei dati; nella maggior parte dei casi, deve essere seguita dall'elaborazione dei dati. Ad esempio, le fatture devono essere verificate per accertare la conformità all'IVA (ad esempio, le fatture nazionali senza IVA devono spiegare il motivo dell'esclusione dell'IVA) e la mancata verifica potrebbe comportare sanzioni significative per l'azienda, a seconda del paese.
6. Chiedi come la soluzione viene a conoscenza delle nuove fatture
Le soluzioni migliori dispongono di un'interfaccia che consente al tuo team di contribuire a guidarne l'implementazione. Man mano che il dipendente della tua azienda seleziona le coppie chiave-valore, la soluzione di acquisizione delle fatture ne prende nota, in modo da poter gestire con maggiore sicurezza fatture simili in futuro.
7. Valutare la facilità d'uso della loro soluzione di immissione dati manuale
Sarà utilizzato dal personale amministrativo della vostra azienda per elaborare manualmente le fatture che non possono essere elaborate automaticamente con sicurezza.
Oltre a ciò, è opportuno porre domande sulle migliori pratiche di approvvigionamento. Ad esempio:
- Quanto è diffusa la loro soluzione? Hanno clienti tra le aziende Fortune 500?
- I loro clienti sono soddisfatti della soluzione e dell'assistenza? Potrebbe essere utile chiedere a un conoscente di un'azienda che già utilizza la loro soluzione. Poiché l'automazione della fatturazione non è una soluzione che migliora il marketing o le vendite di un'azienda, anche i concorrenti potrebbero condividere le proprie opinioni sulle soluzioni di automazione della fatturazione.
- Quali sono le opzioni per integrare la soluzione nei sistemi aziendali (ad esempio, ERP)? Il reparto IT è favorevole all'approccio di integrazione?
- Qual è il loro costo totale di proprietà (TCO)? Soluzioni diverse utilizzano unità di prezzo diverse (ad esempio, prezzo per pagina o prezzo per documento), il che rende difficile questo confronto. Tuttavia, utilizzando un campione dai vostri archivi, potreste ottenere una stima del costo.
Per approfondire
Collegamenti di riferimento
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori.