Benchmark OCR de Factures: Précision d'Extraction des LLMs vs OCRs
Le traitement des factures est une opération commerciale critique mais exigeante en main-d'œuvre qui nécessite traditionnellement l'extraction manuelle des données et leur saisie dans les systèmes comptables. Cette approche manuelle prend du temps et est sujette aux erreurs humaines. Pour évaluer les alternatives automatisées, nous avons mené une analyse comparative des principales solutions de traitement de documents et des LLMs :
- Amazon Textract API
- Claude Sonnet 3.5
- Docsumo
- Google Document IA
- Microsoft Azure Document Intelligence
- Rossum
Notre étude a évalué la capacité de ces outils à extraire avec précision des données de divers formats et qualités de factures, dans le but de quantifier leur efficacité en tant qu'alternatives au traitement manuel.
Résultats du benchmark
Nous avons évalué les performances de traitement des factures sur des factures de qualité et de niveaux de contraste variés. Bien que tous les outils aient démontré de bonnes performances avec les images de haute qualité, leur précision a considérablement diminué lors du traitement de documents de moindre qualité. Parmi les outils testés, Claude Sonnet 3.5 a affiché la précision globale et la résilience les plus élevées sur l'ensemble du spectre des qualités de documents.
Méthodologie
Mesure : Notre méthodologie d'évaluation s'est concentrée sur la précision de l'extraction des paires clé-valeur. Chaque champ extrait a été évalué à l'aide d'une classification binaire : extraction correcte ou extraction incorrecte/manquante. La métrique de précision a été calculée à l'aide de la formule suivante :
Précision = (Nombre de Paires Clé-Valeur Correctement Extraites) / (Nombre Total de Paires Clé-Valeur)
Cette méthodologie a permis une comparaison objective des performances d'extraction entre les différents outils et types de documents.
Taille de l'échantillon : Trouver des données de factures est difficile car elles impliquent des informations personnelles telles que les adresses e-mail et les noms. Nous avons utilisé plus de 400 paires clé-valeur provenant de 20 échantillons de factures publiquement disponibles.
Échantillons : Bien que toutes les solutions aient correctement traité les images de haute qualité, la qualité de l'extraction a diminué pour des images comme celles-ci :
Fine-tuning : Bien que les produits que nous avons essayés aient réussi à trouver les montants totaux, ils ont rencontré des difficultés pour extraire les détails des prix. Il est possible d'obtenir de meilleurs résultats en fine-tunant certains produits. Dans quelques produits, les utilisateurs peuvent cliquer sur une valeur dans l'image pour corriger la sortie du modèle.
Pour être équitable envers tous les fournisseurs, nous n'avons effectué aucun fine-tuning. Avec le fine-tuning, tous les fournisseurs devraient être en mesure d'atteindre des taux de réussite plus élevés la deuxième fois qu'ils traitent ces documents. Cependant, notre objectif dans ce benchmark est centré sur les opérations autonomes, qui exigent que les modèles produisent des résultats corrects et fiables à partir de documents qu'ils n'ont jamais vus auparavant.
Calendrier : Tous les tests ont été réalisés en décembre 2024.
Prochaines étapes
Augmentation du nombre de participants : Étant donné que cette étude fournit des informations sur les capacités actuelles de traitement des factures des Grands Modèles de Langage (LLMs), des technologies OCR et des outils spécialisés de traitement des factures, nous prévoyons d'élargir notre analyse en intégrant des LLMs supplémentaires de pointe afin de fournir un benchmark plus complet des solutions de traitement automatisé des factures.
Augmentation de la taille et de la diversité de l'échantillon.
Qu'est-ce que l'OCR de factures ?
L'analyse des factures utilise des outils automatisés tels que le NLP, la NLU, l'OCR et d'autres technologies d'extraction de données pour extraire des données de factures dans divers formats, tels que les PDF et les images.
Un analyseur de factures est un programme logiciel qui extrait des informations telles que
Nom du fournisseur
Numéro de facture
Montant dû
et les saisit dans un format lisible par machine. Ces données peuvent être utilisées pour de multiples fonctions, telles que l'automatisation des comptes fournisseurs, la réalisation des clôtures comptables de fin de mois et la gestion des factures.
Le logiciel d'analyse est généralement intégré dans un système de traitement des factures qui automatise l'ensemble du processus, de la réception d'une facture au paiement.
Comment fonctionnent les outils d'OCR de factures ?
Les documents écrits dans un certain langage de balisage sont lus et traités par des analyseurs. Ils décomposent le document en parties plus petites, appelées tokens, et examinent chaque token pour déterminer ce qu'il signifie et où il se situe dans la structure du document.
Pour ce faire, les analyseurs doivent bien connaître la grammaire du langage de balisage en question. Cela leur permet de reconnaître chaque token et de déterminer les connexions exactes entre eux.
Le processus comprend 5 étapes :
1. Saisie
Les factures peuvent être reçues dans une variété de formats, y compris le papier, l'e-mail ou des formats électroniques tels que PDF ou XML. Le logiciel d'analyse de factures acceptera généralement ces factures comme entrée.
2. Reconnaissance Optique de Caractères (OCR)
Si la facture est au format papier numérisé ou image, l'analyseur utilisera la technologie OCR pour extraire le texte de l'image. Cela permet à l'analyseur d'accéder aux données contenues dans la facture.
Certaines solutions d'analyse de factures utilisent des outils OCR alimentés par l'IA ou des LLMs qui extraient automatiquement les informations des PDF, des photos et des documents numérisés sans avoir besoin de nouvelles règles ou de modèles. Cela est possible car l'IA peut traiter des documents semi-structurés et inconnus et s'améliorer au fil du temps. Les informations extraites peuvent être personnalisées pour n'inclure que des tables ou des entrées de données spécifiques.
3. Extraction de données
L'analyseur extrait ensuite des informations spécifiques de la facture, telles que le nom du fournisseur, le numéro de facture, la date et les détails des articles. Cela est généralement réalisé en utilisant une combinaison de reconnaissance de motifs et d'algorithmes de machine learning.
Certains logiciels d'analyse de factures ont la capacité d'extraire des informations clés telles que la date de la facture, le numéro, les numéros d'identification fiscale et les différents totaux en utilisant des filtres prédéfinis :
Certains outils d'analyse offrent la possibilité d'extraire des informations de lignes de factures avec un format cohérent en créant un analyseur de documents distinct pour chaque mise en page spécifique de fournisseur ou de partenaire commercial :
4. Validation des données
Une fois les données extraites, l'analyseur valide les informations pour s'assurer qu'elles sont exactes et complètes. Cela peut inclure la vérification que la date est au bon format, que le nom du fournisseur correspond à une liste prédéfinie de fournisseurs, ou que les détails des articles correspondent au format attendu.
5. Sortie des données
Les données extraites et validées sont ensuite produites dans un format qui peut être facilement importé dans le système comptable ou ERP de l'utilisateur. Cela peut prendre la forme d'un fichier CSV, d'un enregistrement de base de données, ou directement dans un logiciel de comptabilité.
Ajouter comme source préféréeDéfis de l'extraction manuelle des données de factures
L'extraction manuelle des données des factures et leur saisie dans un système peut être difficile pour les entreprises, car il existe plusieurs complexités :
Erreur humaine
Les factures peuvent contenir une grande quantité de données, et la saisie manuelle augmente le risque d'erreurs, telles que les fautes de frappe, la transposition de chiffres et la saisie incorrecte des données. Les inexactitudes dans la saisie des données sont responsables d'environ 600 milliards de dollars de pertes annuelles.1 Les processus tels que les comptes fournisseurs nécessitent une exportation correcte des données des documents financiers.
Chronophage
En moyenne, il faut 17 jours, soit environ 75% d'un mois, pour traiter manuellement une seule facture.2
De nombreuses informations importantes sont incluses dans les factures, et elles sont toutes présentées dans un style clé-valeur où chaque élément sert à la fois de clé et de valeur. Le processus d'extraction manuelle de ces paires est chronophage et nécessite de multiples inspections pour garantir l'exactitude. Même certains algorithmes d'OCR peinent à détecter les valeurs extraites sans contexte. Le traitement automatisé des factures peut aider les employés à se concentrer sur des tâches plus complexes.
Absence de standardisation
Les factures provenant de différents fournisseurs peuvent avoir des formats différents. Chaque facture est générée avec un format unique qui peut poser des difficultés lors du traitement et de l'interprétation de ces modèles. Les documents, tels que les e-mails, le papier et les PDF, peuvent passer par de nombreux enregistrements numériques et papier avant d'être approuvés pour le paiement, rendant l'extraction manuelle des données difficile et sujette aux erreurs.
Inefficacité du processus
Le traitement manuel des factures, qui entraîne un coût moyen de près de 23 $ par facture3 , peut être à la fois chronophage et coûteux, conduisant à un processus inefficace et répétitif.
Potentiel de perte de données
Il existe un risque de perte de données si les factures sont perdues ou endommagées ou si les données ne sont pas saisies correctement dans le système.
Les logiciels d'OCR rencontrent souvent des difficultés pour extraire les lignes des factures également. Cela est dû au fait que les tableaux de transactions peuvent manquer de lignes horizontales ou verticales, ce qui rend difficile pour le traitement ocr des factures d'établir un contexte pour les éléments extraits. Les factures numériques collectées ou les images de factures peuvent être utilisées dans ce processus.
Comment choisir votre fournisseur de traitement de factures ?
1. Fournit une solution conforme aux politiques de confidentialité des données de votre entreprise.
La politique de confidentialité des données de votre entreprise peut être un obstacle à l'utilisation d'APIs externes telles qu'Amazon AWS Textract. La plupart des fournisseurs proposent des solutions sur site, de sorte que les politiques de confidentialité des données n'empêcheraient pas nécessairement votre entreprise d'utiliser une solution de capture de factures. Le flux de travail des comptes fournisseurs doit être traité avec une attention particulière car il implique fréquemment des informations commerciales et financières confidentielles.
2. Fournit une structure de données cohérente indépendamment du texte sur les documents.
Il existe deux façons de fonctionner pour les entreprises de capture de factures basées sur le deep learning. Des entreprises comme Textract renvoient des paires clé-valeur. Ainsi, par exemple, si une facture appelle le montant total « Montant brut », une autre l'appelle « Montant total », et qu'une autre facture allemande l'appelle « Summe », Textract vous donne les données dans 3 structures différentes pour ces 3 documents.
Dans l'un, vous avez une paire clé-valeur avec la clé « Montant brut », dans un autre « Montant total » et dans le document allemand, vous obtenez « Summe ». D'autres fournisseurs ont conçu des structures de données cohérentes qui fonctionnent pour toutes les factures. Dans les 3 scénarios, vous obtiendriez « Montant total », qui est la clé qu'ils utilisent dans leur fichier de sortie. Cela facilite l'analyse et le traitement car vous n'avez pas à gérer de nombreux formats de données structurées différents.
3. Demandez les taux de faux positifs et d'extraction manuelle des données
Exécutez ensuite un projet de Preuve de Concept (PoC) pour voir les taux réels sur les factures reçues par votre entreprise.
Les faux positifs sont des factures qui sont auto-traitées mais qui comportent des erreurs dans l'extraction des données. Ceux-ci sont difficiles à identifier et peuvent perturber les opérations. Par exemple, une extraction incorrecte des montants de paiement serait problématique. Minimiser cela devrait être la priorité absolue.
L'extraction manuelle des données est nécessaire lorsque le système d'extraction automatisée des données a une confiance limitée dans son résultat. Cela pourrait être dû à un format de facture différent, à une mauvaise qualité d'image ou à une erreur d'impression du fournisseur. Il est également important de minimiser cela, mais il y a un compromis entre les faux positifs et l'extraction manuelle des données. Avoir plus d'extraction manuelle de données peut être préférable à avoir des faux positifs.
Il s'agit du premier benchmarking quantitatif que nous avons vu dans ce domaine et nous suivrons une méthodologie similaire pour préparer notre propre benchmarking.
4. Exploitez un PoC pour mesurer le taux d'automatisation potentiel
Cela dépend du nombre de champs que vous prévoyez de capturer à partir des documents. Un ensemble typique d'environ 10 champs, comprenant des éléments comme l'ID de commande d'achat, le nom du fournisseur, etc., peut permettre la saisie des données dans l'ERP et les paiements.
Les fournisseurs de meilleures pratiques atteignent environ 80% de STP en extrayant tous ces ~10 champs avec presque aucune erreur ~80% du temps. Bien qu'il puisse y avoir des erreurs de temps en temps, la vérification manuelle des paiements les plus importants peut garantir qu'aucun paiement erroné significatif ne passe à travers les mailles du filet.
5. Demandez les options de traitement avancées fournies par le fournisseur
L'extraction est la première étape de la collecte de données ; elle doit être suivie par le traitement des données dans la plupart des cas. Par exemple, les factures doivent être vérifiées pour la conformité à la TVA (par exemple, les factures nationales sans TVA doivent expliquer pourquoi la TVA est exclue), et le non-respect de cette obligation pourrait entraîner des amendes importantes pour l'entreprise, selon le pays.
6. Demandez comment la solution apprend des nouvelles factures
Les meilleures solutions disposent d'une interface permettant à votre équipe d'aider à guider la solution. Lorsque l'employé de votre entreprise sélectionne les paires clé-valeur, la solution de capture de factures en prend note afin d'être plus confiante pour une facture similaire la prochaine fois.
7. Évaluez la facilité d'utilisation de leur solution de saisie manuelle des données
Elle sera utilisée par le personnel administratif de votre entreprise lorsqu'il traite manuellement les factures qui ne peuvent pas être traitées automatiquement avec confiance.
Au-delà de cela, les questions de meilleures pratiques en matière d'approvisionnement ont du sens. Par exemple :
- Quelle est l'adoption de leur solution ? Ont-ils des clients du Fortune 500 ?
- Leurs clients sont-ils satisfaits de leur solution et de leur support ? Il pourrait être bon de demander à une connaissance d'une entreprise qui utilise déjà leur solution. Étant donné que l'automatisation des factures n'est pas une solution qui améliorerait le marketing ou les ventes d'une entreprise, même les concurrents pourraient partager entre eux leur point de vue sur les solutions d'automatisation des factures.
- Quelles sont les options pour intégrer la solution dans les systèmes de votre entreprise (par exemple, ERP) ? Le service informatique est-il d'accord avec l'approche d'intégration ?
- Quel est leur Coût Total de Possession (TCO) ? Différentes solutions utilisent différentes unités de tarification (par exemple, prix par page ou prix par document), ce qui rend cette comparaison difficile. Cependant, en utilisant un échantillon de vos archives, vous pourriez avoir une estimation du coût.
Lectures complémentaires
Citez ce benchmark
Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{Benchmark OCR de Factures: Précision d'Extraction des LLMs vs OCRs}},
year = {2026},
month = jan,
howpublished = {\url{https://aimultiple.com/invoice-ocr}},
note = {AIMultiple. Consulté le 22 Janvier 2026}
}Liens de référence
Soyez le premier à commenter
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.