Comparativa OCR de facturas: precisión de extracción de LLM frente a OCR
El procesamiento de facturas es una operación empresarial crítica pero laboriosa que tradicionalmente requiere la extracción e introducción manual de datos en los sistemas contables. Este método manual consume mucho tiempo y es propenso a errores humanos. Para evaluar alternativas automatizadas, realizamos un análisis comparativo de las principales soluciones de procesamiento de documentos y sistemas de gestión de la vida (LLM).
- API de Amazon TextRect
- Claude Sonnet 3.5
- Docsumo
- Google Documento IA
- Microsoft Documento de Azure Intelligence
- Rossum
Nuestro estudio evaluó la capacidad de estas herramientas para extraer datos con precisión de diversos formatos y calidades de facturas, con el objetivo de cuantificar su eficacia como alternativas al procesamiento manual.
Resultados de referencia
Evaluamos el rendimiento del procesamiento de facturas con distintos niveles de calidad y contraste. Si bien todas las herramientas demostraron un buen rendimiento con imágenes de alta calidad, su precisión disminuyó significativamente al procesar documentos de menor calidad. Entre las herramientas probadas, Claude Sonnet 3.5 mostró la mayor precisión y resistencia en todo el espectro de calidades de documentos.
Metodología
Medición: Nuestra metodología de evaluación se centró en la precisión de la extracción de pares clave-valor. Cada campo extraído se evaluó mediante una clasificación binaria: extracción correcta o extracción incorrecta/faltante. La métrica de precisión se calculó utilizando la siguiente fórmula:
Precisión = (Número de pares clave-valor extraídos correctamente) / (Número total de pares clave-valor)
Esta metodología permitió una comparación objetiva del rendimiento de la extracción entre diferentes herramientas y tipos de documentos.
Tamaño de la muestra: Encontrar datos de facturas es complicado, ya que implican información personal como correos electrónicos y nombres. Utilizamos más de 400 pares clave-valor de 20 muestras de facturas disponibles públicamente.
Ejemplos: Si bien todas las soluciones procesaron correctamente imágenes de alta calidad, la calidad de extracción disminuyó en imágenes como estas:
Ajuste fino : Si bien los productos que probamos lograron calcular los montos totales, presentaron problemas para extraer los detalles de precios. Es posible obtener mejores resultados ajustando algunos productos. En algunos casos, los usuarios pueden hacer clic en un valor de la imagen para corregir el resultado del modelo.
Para ser justos con todos los proveedores, no realizamos ningún ajuste fino. Con dicho ajuste, todos los proveedores deberían poder lograr tasas de éxito más altas la segunda vez que procesen estos documentos. Sin embargo, en esta evaluación comparativa nos centramos en las operaciones autónomas, que requieren que los modelos produzcan resultados correctos y fiables a partir de documentos que no han visto antes.
Cronograma: Todas las pruebas se completaron en diciembre de 2024.
Próximos pasos
Aumento del número de participantes: Dado que este estudio ofrece información sobre las capacidades actuales de procesamiento de facturas en los distintos modelos de lenguaje a gran escala (LLM, por sus siglas en inglés), las tecnologías OCR y las herramientas especializadas de procesamiento de facturas, planeamos ampliar nuestro análisis incorporando LLM adicionales de última generación para ofrecer una evaluación comparativa más completa de las soluciones automatizadas de procesamiento de facturas.
Aumentar el tamaño y la diversidad de la muestra .
¿Qué es el OCR de facturas?
El análisis de facturas utiliza herramientas automatizadas como PNL , LNL , OCR y otras tecnologías de extracción de datos para extraer información de facturas en diversos formatos, como PDF e imágenes.
Un analizador de facturas es un programa de software que extrae información como
Nombre del proveedor
Número de factura
Cantidad adeudada
y la introduce en un formato legible por máquina. Estos datos pueden utilizarse para diversas funciones, como la automatización de cuentas por pagar , el cierre contable mensual y la gestión de facturas.
El software analizador suele estar integrado en un sistema de procesamiento de facturas que automatiza todo el proceso, desde la recepción de la factura hasta el pago.
¿Cómo funcionan las herramientas OCR para facturas?
Los documentos escritos en un lenguaje de marcado determinado son leídos y procesados por analizadores sintácticos. Estos dividen el documento en fragmentos más pequeños, llamados tokens, y examinan cada token para determinar su significado y su lugar dentro de la estructura del documento.
Para ello, los analizadores sintácticos necesitan conocer a fondo la gramática del lenguaje de marcado en cuestión. Esto les permite reconocer cada token y determinar las conexiones exactas entre ellos.
El proceso incluye 5 pasos:
1. Entrada
Las facturas pueden recibirse en diversos formatos, como papel, correo electrónico o formatos electrónicos como PDF o XML. El software analizador de facturas generalmente acepta estos formatos como entrada.
2. Reconocimiento óptico de caracteres (OCR)
Si la factura está en formato de imagen o documento escaneado, el analizador utilizará tecnología OCR para extraer el texto de la imagen. Esto le permite acceder a los datos contenidos en la factura.
Algunas soluciones de análisis de facturas utilizan herramientas OCR con IA o LLM que extraen automáticamente información de archivos PDF, fotos y documentos escaneados sin necesidad de nuevas reglas ni plantillas. Esto se debe a que la IA puede procesar documentos semiestructurados y desconocidos, y mejora con el tiempo. La información extraída se puede personalizar para incluir solo tablas o datos específicos.
3. Extracción de datos
El analizador extraerá entonces información específica de la factura, como el nombre del proveedor, el número de factura, la fecha y los detalles del artículo. Esto se suele lograr mediante una combinación de algoritmos de reconocimiento de patrones y aprendizaje automático.
Algunos programas de análisis de facturas tienen la capacidad de extraer información clave, como la fecha de la factura, el número, los números de identificación fiscal y varios totales, mediante el uso de filtros predefinidos:
Algunas herramientas de análisis sintáctico ofrecen la posibilidad de extraer información de las partidas de las facturas con un formato coherente mediante la creación de un analizador de documentos independiente para cada proveedor o socio comercial específico:
4. Validación de datos
Una vez extraídos los datos, el analizador validará la información para garantizar su exactitud e integridad. Esto puede incluir comprobar que la fecha tenga el formato correcto, que el nombre del proveedor coincida con una lista predefinida o que los detalles del artículo se ajusten al formato esperado.
5. Salida de datos
Los datos extraídos y validados se generan en un formato que permite su fácil importación al sistema contable o ERP del usuario. Esto puede ser en formato CSV, registro de base de datos o directamente en un software de contabilidad.
Problemas con la extracción manual de datos de facturas
La extracción manual de datos de las facturas y su introducción en un sistema puede resultar complicada para las empresas, ya que presenta diversas dificultades:
error humano
Las facturas pueden contener gran cantidad de datos, y la introducción manual aumenta el riesgo de errores, como erratas, transposición de números y datos incorrectos. Se estima que las imprecisiones en la introducción de datos ocasionan pérdidas anuales de 600 mil millones de dólares. 1 Procesos como el de cuentas por pagar requieren una exportación de datos correcta desde los documentos financieros.
Pérdida de tiempo
De media, se necesitan 17 días, o aproximadamente el 75% de un mes, para procesar manualmente una sola factura. 2
Las facturas contienen mucha información importante, presentada en formato clave-valor, donde cada elemento funciona como clave y valor. Extraer manualmente estos pares es un proceso lento y requiere múltiples revisiones para garantizar la precisión. Incluso algunos algoritmos de OCR tienen dificultades para detectar los valores extraídos sin contexto. El procesamiento automatizado de facturas permite a los empleados centrarse en tareas más complejas.
Falta de estandarización
Las facturas de distintos proveedores pueden tener formatos diferentes. Cada factura se genera con un formato único, lo que puede dificultar su procesamiento e interpretación. Los documentos, como correos electrónicos, documentos en papel y archivos PDF, pueden pasar por numerosos registros digitales y en papel antes de ser aprobados para el pago, lo que hace que la extracción manual de datos sea compleja y propensa a errores.
ineficiencia del proceso
La gestión manual de las facturas, que supone un coste medio de casi 23 dólares por factura. 3 , puede ser tanto laborioso como costoso, lo que lleva a un proceso ineficiente y repetitivo.
potencial de pérdida de datos
Existe el riesgo de perder datos si las facturas se pierden o se dañan, o si los datos no se introducen correctamente en el sistema.
El software OCR suele tener dificultades para extraer los detalles de las facturas. Esto se debe a que las tablas de transacciones pueden carecer de líneas horizontales o verticales, lo que dificulta que el procesamiento OCR de facturas establezca el contexto de los elementos extraídos. En este proceso se pueden utilizar facturas digitales o imágenes de facturas recopiladas.
¿Cómo elegir a su proveedor de procesamiento de facturas?
1. Proporciona una solución que se ajusta a las políticas de privacidad de datos de su empresa.
La política de privacidad de datos de su empresa puede ser un obstáculo para el uso de API externas como Amazon AWS Textract. La mayoría de los proveedores ofrecen soluciones locales, por lo que las políticas de privacidad de datos no necesariamente impedirían que su empresa utilizara una solución de captura de facturas. El flujo de trabajo de cuentas por pagar debe tratarse con sumo cuidado, ya que con frecuencia implica información comercial y financiera confidencial.
2. Proporcionar una estructura de datos coherente independientemente del texto de los documentos.
Existen dos formas en que las empresas de captura de facturas basadas en aprendizaje profundo funcionan. Empresas como Textract devuelven pares clave-valor. Por ejemplo, si una factura denomina el importe total como "Importe bruto", otra como "Importe total" y otra factura alemana como "Summe", Textract proporciona los datos en tres estructuras diferentes para estos tres documentos.
En un caso, se utiliza un par clave-valor con la clave "Importe bruto", en otro "Importe total" y en el formato alemán, "Summe". Otros proveedores diseñaron estructuras de datos consistentes que funcionan para todas las facturas. En los tres casos, se obtiene "Importe total", que es la clave que utilizan en su archivo de salida. Esto facilita el análisis y el procesamiento, ya que no es necesario trabajar con diferentes formatos de datos estructurados.
3. Solicitar las tasas de falsos positivos y de extracción manual de datos.
A continuación, ejecute un proyecto de prueba de concepto (PoC) para comprobar las tarifas reales de las facturas recibidas por su empresa.
Los falsos positivos son facturas que se procesan automáticamente pero que presentan errores en la extracción de datos. Estos errores son difíciles de identificar y pueden interrumpir las operaciones. Por ejemplo, la extracción incorrecta de los importes de pago sería problemática. Minimizar este problema debe ser la prioridad absoluta.
La extracción manual de datos es necesaria cuando el sistema automatizado de extracción de datos tiene una fiabilidad limitada en sus resultados. Esto puede deberse a un formato de factura diferente, una mala calidad de imagen o un error de impresión del proveedor. Si bien es importante minimizar estos errores, existe una disyuntiva entre los falsos positivos y la extracción manual de datos. En ocasiones, es preferible realizar una mayor cantidad de extracción manual a tener falsos positivos.
Este es el primer análisis comparativo cuantitativo que hemos visto en este ámbito y seguiremos una metodología similar para preparar nuestro propio análisis comparativo.
4. Utilizar una prueba de concepto para medir la tasa potencial de automatización.
Esto depende de la cantidad de campos que se esperan capturar de los documentos. Un conjunto típico de aproximadamente 10 campos, que incluyan elementos como el ID de la orden de compra, el nombre del proveedor, etc., permite ingresar datos en el sistema ERP y gestionar los pagos.
Los proveedores que siguen las mejores prácticas logran un 80 % de procesamiento directo (STP) extrayendo estos 10 campos con casi ningún error en aproximadamente el 80 % de los casos. Si bien pueden producirse errores ocasionalmente, la revisión manual de los pagos más importantes garantiza que no se filtre ningún pago erróneo significativo.
5. Solicita las opciones de procesamiento avanzado que ofrece el proveedor.
La extracción es el primer paso en la recopilación de datos; en la mayoría de los casos, debe ir seguida del procesamiento de datos. Por ejemplo, es necesario verificar que las facturas cumplan con la normativa del IVA (por ejemplo, las facturas nacionales sin IVA deben explicar el motivo de su exclusión), y el incumplimiento de esta normativa podría acarrear multas importantes para la empresa, dependiendo del país.
6. Pregunte cómo la solución se entera de las nuevas facturas.
Las mejores soluciones cuentan con una interfaz que permite a tu equipo guiar el proceso. A medida que el empleado de tu empresa selecciona los pares clave-valor, la solución de captura de facturas toma nota para poder identificar con mayor precisión facturas similares en el futuro.
7. Evaluar la facilidad de uso de su solución de entrada manual de datos.
Será utilizado por el personal administrativo de su empresa para procesar manualmente las facturas que no pueden procesarse automáticamente con total seguridad.
Más allá de esto, las preguntas sobre las mejores prácticas de adquisición tienen sentido. Por ejemplo:
- ¿Qué tan extendida está su solución? ¿Tienen clientes en la lista Fortune 500?
- ¿Están satisfechos sus clientes con la solución y el soporte? Sería buena idea preguntar a algún conocido de una empresa que ya la utilice. Dado que la automatización de facturas no mejora el marketing ni las ventas, incluso la competencia podría compartir su opinión sobre las soluciones de automatización de facturas.
- ¿Qué opciones existen para integrar la solución en los sistemas de su empresa (por ejemplo, ERP)? ¿El departamento de TI está de acuerdo con el enfoque de integración?
- ¿Cuál es su costo total de propiedad (CTP)? Las distintas soluciones utilizan diferentes unidades de medida (por ejemplo, precio por página o precio por documento), lo que dificulta esta comparación. Sin embargo, utilizando una muestra de sus archivos, podría obtener una estimación del costo.
Lecturas adicionales
Enlaces de referencia
Sé el primero en comentar
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios.