Factura OCR Benchmark: Precisión de extracción de LLMs vs OCRs
Procesamiento de facturas es una operación crítica pero laboriosa que tradicionalmente requiere la extracción manual de datos y su introducción en sistemas contables. Este enfoque manual consume mucho tiempo y es susceptible a errores humanos. Para evaluar alternativas automatizadas, realizamos un análisis comparativo de las principales soluciones de procesamiento de documentos y LLMs:
- Amazon Textract API
- Claude Sonnet 3.5
- Docsumo
- Google Document IA
- Microsoft Azure Document Intelligence
- Rossum
Nuestro estudio evaluó las capacidades de estas herramientas para extraer datos con precisión de diversos formatos y calidades de facturas, con el objetivo de cuantificar su eficacia como alternativas al procesamiento manual.
Resultados del benchmark
Evaluamos el rendimiento del procesamiento de facturas en facturas de diferentes niveles de calidad y contraste. Si bien todas las herramientas mostraron un buen rendimiento con imágenes de alta calidad, su precisión disminuyó significativamente al procesar documentos de menor calidad. Entre las herramientas probadas, Claude Sonnet 3.5 mostró la mayor precisión general y resiliencia en todo el espectro de calidades de documentos.
Metodología
Medición: Nuestra metodología de evaluación se centró en la precisión de la extracción de pares clave-valor. Cada campo extraído se evaluó mediante una clasificación binaria: extracción correcta o extracción incorrecta/faltante. La métrica de precisión se calculó utilizando la siguiente fórmula:
Precisión = (Número de pares clave-valor extraídos correctamente) / (Número total de pares clave-valor)
Esta metodología permitió una comparación objetiva del rendimiento de extracción entre diferentes herramientas y tipos de documentos.
Tamaño de la muestra: Encontrar datos de facturas es difícil porque involucra información personal como correos electrónicos y nombres. Utilizamos más de 400 pares clave-valor de 20 muestras de facturas disponibles públicamente.
Muestras: Si bien todas las soluciones procesaron correctamente las imágenes de alta calidad, la calidad de la extracción disminuyó en imágenes como estas:
Fine-tuning: Aunque los productos que probamos tuvieron éxito en encontrar los montos totales, tuvieron problemas para extraer los detalles de precios. Es posible obtener mejores resultados ajustando algunos productos. En algunos productos, los usuarios pueden hacer clic en un valor de la imagen para corregir la salida del modelo.
Para ser justos con todos los proveedores, no realizamos ningún fine-tuning. Con el fine-tuning, todos los proveedores deberían poder lograr tasas de éxito más altas la segunda vez que procesan estos documentos. Sin embargo, nuestro enfoque en este benchmark está en las operaciones autónomas, que requieren que los modelos produzcan resultados correctos y confiables a partir de documentos que no han visto antes.
Calendario: Todas las pruebas se completaron en diciembre de 2024.
Próximos pasos
Aumento de participantes: Dado que este estudio proporciona información sobre las capacidades actuales de procesamiento de facturas en Large Language Models (LLMs), tecnologías OCR y herramientas especializadas de procesamiento de facturas, planeamos ampliar nuestro análisis incorporando LLMs adicionales de última generación para proporcionar un benchmark más completo de soluciones automatizadas de procesamiento de facturas.
Aumento del tamaño y la diversidad de la muestra.
¿Qué es el OCR de facturas?
El análisis de facturas utiliza herramientas automatizadas como NLP, NLU, OCR, y otras tecnologías de extracción de datos para extraer datos de facturas en varios formatos, como PDF e imágenes.
Un analizador de facturas es un programa de software que extrae información como
Nombre del proveedor
Número de factura
Importe a pagar
y lo introduce en un formato legible por máquina. Estos datos se pueden utilizar para múltiples funciones, como automatizar las cuentas por pagar, completar los cierres contables de fin de mes y gestionar facturas.
El software de análisis generalmente se integra en un sistema de procesamiento de facturas que automatiza todo el proceso desde la recepción de una factura hasta el pago.
¿Cómo funcionan las herramientas de OCR de facturas?
Los documentos escritos en un determinado lenguaje de marcado son leídos y manejados por analizadores. Dividen el documento en piezas más pequeñas, llamadas tokens, y examinan cada token para determinar qué significa y dónde encaja en la estructura del documento.
Para hacer esto, los analizadores necesitan conocer mucho sobre la gramática del lenguaje de marcado en cuestión. Esto les permite reconocer cada token y determinar las conexiones exactas entre ellos.
El proceso incluye 5 pasos:
1. Entrada
Las facturas se pueden recibir en una variedad de formatos, incluidos papel, correo electrónico o formatos electrónicos como PDF o XML. El software de análisis de facturas normalmente acepta estas facturas como entrada.
2. Reconocimiento óptico de caracteres (OCR)
Si la factura está en formato de papel escaneado o imagen, el analizador utilizará la tecnología OCR para extraer texto de la imagen. Esto permite al analizador acceder a los datos contenidos en la factura.
Algunas soluciones de análisis de facturas utilizan herramientas OCR impulsadas por IA o LLMs que extraen automáticamente información de PDF, fotos y documentos escaneados sin necesidad de nuevas reglas o plantillas. Esto se debe a que la IA puede manejar documentos semiestructurados y desconocidos y mejorar con el tiempo. La información extraída se puede personalizar para incluir solo tablas o entradas de datos específicas.
3. Extracción de datos
Luego, el analizador extraerá información específica de la factura, como el nombre del proveedor, el número de factura, la fecha y los detalles de los artículos. Esto generalmente se logra utilizando una combinación de reconocimiento de patrones y algoritmos de aprendizaje automático.
Algunos software de análisis de facturas tienen la capacidad de extraer información clave como la fecha de la factura, el número, los números de identificación fiscal y varios totales mediante el uso de filtros predefinidos:
Algunas herramientas de análisis ofrecen la capacidad de extraer información de líneas de pedido de facturas con un formato consistente creando un analizador de documentos separado para cada proveedor específico o diseño de socio comercial:
4. Validación de datos
Una vez extraídos los datos, el analizador validará la información para asegurarse de que sea precisa y completa. Esto puede incluir verificar que la fecha esté en el formato correcto, que el nombre del proveedor coincida con una lista predefinida de proveedores o que los detalles del artículo coincidan con el formato esperado.
5. Salida de datos
Los datos extraídos y validados se emiten en un formato que se puede importar fácilmente al sistema contable o ERP del usuario. Esto puede ser en forma de un archivo CSV, un registro de base de datos o directamente en un software de contabilidad.
Añadir como fuente preferidaDesafíos de la extracción manual de datos de facturas
Extraer manualmente datos de facturas e ingresarlos en un sistema puede ser un desafío para las empresas, ya que existen varias complejidades:
Error humano
Las facturas pueden contener una gran cantidad de datos, y la entrada manual aumenta el riesgo de errores, como errores tipográficos, transposición de números y entrada de datos incorrecta. Las imprecisiones en la entrada de datos son responsables de un estimado de $600 mil millones en pérdidas anuales.1 Procesos como las cuentas por pagar necesitan una exportación de datos correcta de los documentos financieros.
Consume mucho tiempo
En promedio, se tarda 17 días, o aproximadamente el 75% de un mes, en procesar manualmente una sola factura.2
Muchas piezas importantes de información se incluyen en las facturas, y todas se presentan en un estilo clave-valor donde cada elemento sirve como clave y valor. El proceso de extraer manualmente estos pares es lento y requiere múltiples inspecciones para garantizar la precisión. Incluso algunos algoritmos de OCR luchan por detectar los valores extraídos sin contexto. El procesamiento automatizado de facturas puede ayudar a los empleados a concentrarse en tareas más complejas.
Falta de estandarización
Las facturas de diferentes proveedores pueden tener diferentes formatos. Cada factura se genera con un formato único que puede plantear dificultades al procesar e interpretar estos patrones. Los documentos, como correos electrónicos, papel y PDF, pueden pasar por muchos registros digitales y en papel antes de ser aprobados para el pago, lo que hace que la extracción manual de datos sea desafiante y propensa a errores.
Ineficiencia del proceso
El manejo manual de facturas, que incurre en un costo promedio de casi $23 por factura3 , puede ser tanto lento como costoso, lo que lleva a un proceso ineficiente y repetitivo.
Potencial de pérdida de datos
Existe el riesgo de perder datos si las facturas se pierden o dañan o si los datos no se ingresan correctamente en el sistema.
El software de OCR a menudo también enfrenta dificultades para extraer líneas de pedido de las facturas. Esto se debe a que las tablas de transacciones pueden carecer de líneas horizontales o verticales, lo que dificulta que el procesamiento de facturas ocr pueda establecer un contexto para los elementos extraídos. En este proceso se pueden utilizar facturas digitales o imágenes de facturas recopiladas.
¿Cómo elegir a su proveedor de procesamiento de facturas?
1. Ofrece una solución acorde con las políticas de privacidad de datos de su empresa.
La política de privacidad de datos de su empresa puede ser un obstáculo para utilizar APIs externas como Amazon AWS Textract. La mayoría de los proveedores ofrecen soluciones locales, por lo que las políticas de privacidad de datos no necesariamente impiden que su empresa utilice una solución de captura de facturas. El flujo de trabajo de cuentas por pagar debe tratarse con especial cuidado, ya que con frecuencia involucra información confidencial comercial y financiera.
2. Proporcione una estructura de datos consistente independientemente del texto en los documentos.
Hay dos formas en que funcionan las empresas de captura de facturas basadas en aprendizaje profundo. Empresas como Textract devuelven pares clave-valor. Así, por ejemplo, si una factura llama al monto total “Importe bruto”, otra lo llama “Importe total” y una factura alemana lo llama “Summe”, Textract le da los datos en 3 estructuras diferentes para estos 3 documentos.
En uno, tiene un par clave-valor con la clave “Importe bruto”, en otro “Importe total” y en el alemán, obtiene “Summe”. Otros proveedores diseñaron estructuras de datos consistentes que funcionan para todas las facturas. En los 3 escenarios, obtendría “Importe total”, que es la clave que utilizan en su archivo de salida. Esto facilita el análisis y el procesamiento, ya que no necesita lidiar con muchos formatos de datos estructurados diferentes.
3. Pregunte por las tasas de falsos positivos y de extracción manual de datos
Luego ejecute un proyecto de Prueba de Concepto (PoC) para ver las tasas reales en las facturas recibidas por su empresa.
Falsos positivos son facturas que son auto-procesadas pero tienen errores en la extracción de datos. Estos son difíciles de identificar y pueden interrumpir las operaciones. Por ejemplo, la extracción incorrecta de los montos de pago sería problemática. Minimizar esto debería ser el enfoque absoluto.
Extracción manual de datos es necesaria cuando el sistema automatizado de extracción de datos tiene una confianza limitada en su resultado. Esto podría deberse a un formato de factura diferente, mala calidad de imagen o un error de impresión del proveedor. Esto también es importante minimizarlo, pero existe un compromiso entre los falsos positivos y la extracción manual de datos. Tener más extracción manual de datos puede ser preferible a tener falsos positivos.
Este es el primer benchmarking cuantitativo que hemos visto en este espacio y seguiremos una metodología similar para preparar nuestro propio benchmarking.
4. Aproveche una PoC para medir la tasa potencial de automatización
Esto depende de la cantidad de campos que espera capturar de los documentos. Un conjunto típico de ~10 campos, que incluya elementos como ID de pedido de compra, nombre del proveedor, etc., puede habilitar la entrada de datos en ERP y los pagos.
Los proveedores de mejores prácticas logran un STP de ~80% extrayendo todos estos ~10 campos con casi ningún error ~80% de las veces. Aunque puede haber errores de vez en cuando, verificar manualmente los pagos más grandes puede garantizar que ningún pago incorrecto significativo se escape.
5. Pregunte por las opciones avanzadas de procesamiento que ofrece el proveedor
La extracción es el primer paso en la recopilación de datos; debe ir seguida del procesamiento de datos en la mayoría de los casos. Por ejemplo, las facturas deben verificarse para el cumplimiento del IVA (por ejemplo, las facturas nacionales sin IVA deben explicar por qué se excluye el IVA), y no hacerlo podría resultar en multas significativas para la empresa, según el país.
6. Pregunte cómo la solución aprende sobre nuevas facturas
Las mejores soluciones tienen una interfaz para permitir que su equipo ayude a guiar la solución. A medida que el empleado de su empresa selecciona los pares clave-valor, la solución de captura de facturas toma nota para poder tener más confianza en una factura similar la próxima vez.
7. Evalúe la facilidad de uso de su solución de entrada manual de datos
Será utilizada por el personal de back-office de su empresa a medida que procesen manualmente las facturas que no se pueden procesar automáticamente con confianza.
Más allá de esto, las preguntas de adquisición de mejores prácticas tienen sentido. Por ejemplo:
- ¿Qué tan ampliamente adoptada está su solución? ¿Tienen clientes de Fortune 500?
- ¿Están contentos sus clientes con su solución y soporte? Podría ser bueno preguntarle a un conocido de una empresa que ya esté utilizando su solución. Dado que la automatización de facturas no es una solución que mejore el marketing o las ventas de una empresa, incluso los competidores podrían compartir entre sí su opinión sobre las soluciones de automatización de facturas.
- ¿Cuáles son las opciones para integrar la solución en los sistemas de su empresa (por ejemplo, ERP)? ¿Está el departamento de TI de acuerdo con el enfoque de integración?
- ¿Cuál es su Costo Total de Propiedad (TCO)? Diferentes soluciones utilizan diferentes unidades de precios (por ejemplo, precio por página o precio por documento), lo que dificulta esta comparación. Sin embargo, utilizando una muestra de sus archivos, podría tener una estimación del costo.
Lectura adicional
Cita este benchmark
Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{Factura OCR Benchmark: Precisión de extracción de LLMs vs OCRs}},
year = {2026},
month = jan,
howpublished = {\url{https://aimultiple.com/invoice-ocr}},
note = {AIMultiple. Recuperado el 22 de Enero de 2026}
}Enlaces de referencia
Sé el primero en comentar
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.