Fatura OCR Benchmark: Precisão de Extração de LLMs vs OCRs
Processamento de faturas é uma operação empresarial crítica, mas intensiva em mão de obra, que tradicionalmente requer extração de dados manual e inserção nos sistemas de contabilidade. Esta abordagem manual é demorada e suscetível a erro humano. Para avaliar alternativas automatizadas, realizámos uma análise comparativa das principais soluções de processamento de documentos e LLMs:
- Amazon Textract API
- Claude Sonnet 3.5
- Docsumo
- Google Document IA
- Microsoft Azure Document Intelligence
- Rossum
O nosso estudo avaliou as capacidades destas ferramentas na extração precisa de dados de diversos formatos e qualidades de faturas, com o objetivo de quantificar a sua eficácia como alternativas ao processamento manual.
Resultados do Benchmark
Avaliou-se o desempenho do processamento de faturas em faturas com diferentes níveis de qualidade e contraste. Embora todas as ferramentas tenham demonstrado um bom desempenho com imagens de alta qualidade, a sua precisão diminuiu significativamente ao processar documentos de menor qualidade. Entre as ferramentas testadas, o Claude Sonnet 3.5 apresentou a maior precisão geral e resiliência em todo o espectro de qualidades de documento.
Metodologia
Medição: A nossa metodologia de avaliação focou-se na precisão da extração de pares chave-valor. Cada campo extraído foi avaliado através de uma classificação binária: extração correta ou extração incorreta/ausente. A métrica de precisão foi calculada usando a seguinte fórmula:
Precisão = (Número de Pares Chave-Valor Extraídos Corretamente) / (Número Total de Pares Chave-Valor)
Esta metodologia permitiu uma comparação objetiva do desempenho de extração entre diferentes ferramentas e tipos de documentos.
Tamanho da amostra: Encontrar dados de faturas é desafiante, pois envolve informações pessoais como e-mails e nomes. Utilizámos mais de 400 pares chave-valor de 20 amostras de faturas disponíveis publicamente.
Amostras: Embora todas as soluções tenham processado corretamente imagens de alta qualidade, a qualidade da extração diminuiu em imagens como estas:
Fine-tuning: Embora os produtos testados tenham sido bem-sucedidos na identificação dos valores totais, tiveram dificuldades em extrair detalhes de preços. É possível obter melhores resultados através de fine-tuning de alguns produtos. Em alguns produtos, os utilizadores podem clicar num valor na imagem para corrigir a saída do modelo.
Para sermos justos com todos os fornecedores, não realizámos qualquer fine-tuning. Com fine-tuning, todos os fornecedores deverão conseguir taxas de sucesso mais elevadas na segunda vez que processam estes documentos. No entanto, o foco deste benchmark são as operações autónomas, que exigem que os modelos produzam resultados corretos e fiáveis a partir de documentos que nunca viram antes.
Cronograma: Todos os testes foram concluídos em dezembro de 2024.
Próximos passos
Aumentar participantes: Uma vez que este estudo fornece informações sobre as capacidades atuais de processamento de faturas entre Large Language Models (LLMs), tecnologias de OCR e ferramentas especializadas de processamento de faturas, planeamos expandir a nossa análise incorporando LLMs adicionais de última geração para fornecer um benchmark mais abrangente das soluções automatizadas de processamento de faturas.
Aumentar o tamanho e a diversidade da amostra.
O que é OCR de faturas?
A análise de faturas utiliza ferramentas automatizadas como PNL, CNL, OCR e outras tecnologias de extração de dados para extrair dados de faturas em vários formatos, como PDFs e imagens.
Um analisador de faturas é um programa de software que extrai informações como
Nome do fornecedor
Número da fatura
Valor devido
e insere-os num formato legível por máquina. Estes dados podem ser utilizados para múltiplas funções, como automatizar contas a pagar, realizar fechos contabilísticos de fim de mês e gerir faturas.
O software de análise é geralmente integrado num sistema de processamento de faturas que automatiza todo o processo, desde a receção de uma fatura até ao pagamento.
Como funcionam as ferramentas de OCR para faturas?
Os documentos escritos numa determinada linguagem de marcação são lidos e processados por analisadores. Eles dividem o documento em partes mais pequenas, chamadas tokens, e examinam cada token para determinar o que significa e onde se encaixa na estrutura do documento.
Para isso, os analisadores precisam de conhecer bem a gramática da linguagem de marcação em questão. Isto permite-lhes reconhecer cada token e determinar as conexões exatas entre eles.
O processo inclui 5 passos:
1. Entrada
As faturas podem ser recebidas numa variedade de formatos, incluindo papel, e-mail ou formatos eletrónicos como PDF ou XML. O software de análise de faturas aceitará tipicamente estas faturas como entrada.
2. Reconhecimento Ótico de Caracteres (OCR)
Se a fatura estiver num formato de papel digitalizado ou imagem, o analisador utilizará a tecnologia de OCR para extrair texto da imagem. Isto permite ao analisador aceder aos dados contidos na fatura.
Algumas soluções de análise de faturas utilizam ferramentas de OCR baseadas em IA ou LLMs que extraem automaticamente informações de PDFs, fotos e documentos digitalizados sem necessidade de novas regras ou templates. Isto porque a IA pode lidar com documentos semiestruturados e desconhecidos e melhorar ao longo do tempo. A informação extraída pode ser personalizada para incluir apenas tabelas ou entradas de dados específicas.
3. Extração de dados
O analisador extrairá então informações específicas da fatura, como o nome do fornecedor, número da fatura, data e detalhes dos itens. Isto é geralmente conseguido através de uma combinação de reconhecimento de padrões e algoritmos de aprendizagem automática.
Alguns softwares de análise de faturas têm a capacidade de extrair informações-chave como a data da fatura, número, números de identificação fiscal e vários totais utilizando filtros predefinidos:
Algumas ferramentas de análise oferecem a capacidade de extrair informações de itens de linha de faturas com um formato consistente, criando um analisador de documentos separado para cada layout específico de fornecedor ou parceiro comercial:
4. Validação de dados
Uma vez extraídos os dados, o analisador validará as informações para garantir que são precisas e completas. Isto pode incluir verificar se a data está no formato correto, se o nome do fornecedor corresponde a uma lista predefinida de fornecedores ou se os detalhes dos itens correspondem ao formato esperado.
5. Saída de dados
Os dados extraídos e validados são depois emitidos num formato que pode ser facilmente importado para o sistema de contabilidade ou ERP do utilizador. Isto pode ser na forma de um ficheiro CSV, registo de base de dados ou diretamente num software de contabilidade.
Adicionar como fonte preferencialDesafios da extração manual de dados de faturas
Extrair manualmente dados de faturas e inseri-los num sistema pode ser desafiante para as empresas, uma vez que existem várias complexidades:
Erro humano
As faturas podem conter uma grande quantidade de dados, e a inserção manual aumenta o risco de erros, como erros de digitação, transposição de números e inserção incorreta de dados. As imprecisões na inserção de dados são responsáveis por cerca de $600 mil milhões em perdas anuais.1 Processos como contas a pagar necessitam de uma exportação correta de dados de documentos financeiros.
Demorado
Em média, são necessários 17 dias, ou aproximadamente 75% de um mês, para processar manualmente uma única fatura.2
Muitas informações importantes estão incluídas nas faturas, e são todas apresentadas num estilo chave-valor, onde cada item serve simultaneamente como chave e valor. O processo de extrair manualmente estes pares é demorado e requer várias inspeções para garantir a precisão. Até mesmo alguns algoritmos de OCR têm dificuldade em detetar valores extraídos sem contexto. O processamento automatizado de faturas pode ajudar os funcionários a concentrarem-se em tarefas mais complexas.
Falta de padronização
As faturas de diferentes fornecedores podem ter formatos diferentes. Cada fatura é gerada com um formato único que pode causar dificuldades ao processar e interpretar estes padrões. Os documentos, como e-mails, papel e PDFs, podem passar por muitos registos digitais e em papel antes de serem aprovados para pagamento, tornando a extração manual de dados desafiante e propensa a erros.
Ineficiência do processo
O tratamento manual de faturas, que incorre num custo médio de quase $23 por fatura3 , pode ser simultaneamente demorado e dispendioso, conduzindo a um processo ineficiente e repetitivo.
Potencial de perda de dados
Existe o risco de perda de dados se as faturas forem perdidas ou danificadas ou se os dados não forem inseridos corretamente no sistema.
O OCR software enfrenta frequentemente dificuldades em extrair itens de linha de faturas também. Isto porque as tabelas de transações podem não ter linhas horizontais ou verticais, dificultando que o processamento de faturas OCR estabeleça contexto para os itens extraídos. As imagens de faturas digitais ou digitalizadas podem ser utilizadas neste processo.
Como escolher o seu fornecedor de processamento de faturas?
1. Fornece uma solução em conformidade com as políticas de privacidade de dados da sua empresa.
A política de privacidade de dados da sua empresa pode ser um obstáculo à utilização de APIs externas, como o Amazon AWS Textract. A maioria dos fornecedores oferece soluções no local, pelo que as políticas de privacidade de dados não impediriam necessariamente a sua empresa de utilizar uma solução de captura de faturas. O fluxo de trabalho de contas a pagar deve ser tratado com cuidado, uma vez que envolve frequentemente informações comerciais e financeiras confidenciais.
2. Fornece uma estrutura de dados consistente, independentemente do texto nos documentos.
Existem duas formas de funcionamento das empresas de captura de faturas baseadas em deep learning. Empresas como a Textract devolvem pares chave-valor. Assim, por exemplo, se uma fatura chama ao valor total “Gross amount”, outra chama-lhe “Total amount” e uma fatura alemã chama-lhe “Summe”, a Textract fornece os dados em 3 estruturas diferentes para estes 3 documentos.
Num, tem um par chave-valor com a chave “Gross amount”, noutro “Total amount” e no alemão, obtém “Summe”. Outros fornecedores conceberam estruturas de dados consistentes que funcionam para todas as faturas. Nos 3 cenários, obteria “Total amount”, que é a chave que utilizam no ficheiro de saída. Isto facilita a análise e o processamento, pois não precisa de lidar com muitos formatos de dados estruturados diferentes.
3. Pergunte pelas taxas de falsos positivos e de extração manual de dados
Depois, execute um projeto de Prova de Conceito (PoC) para ver as taxas reais nas faturas recebidas pela sua empresa.
Falsos positivos são faturas que são processadas automaticamente (auto-processadas) mas têm erros de extração de dados. Estas são difíceis de identificar e podem perturbar as operações. Por exemplo, a extração incorreta de montantes de pagamento seria problemática. Minimizar isto deve ser o foco absoluto.
Extração manual de dados é necessária quando o sistema automatizado de extração de dados tem pouca confiança no seu resultado. Isto pode dever-se a um formato de fatura diferente, má qualidade de imagem ou um erro de impressão do fornecedor. Também é importante minimizar, mas existe uma troca entre falsos positivos e extração manual de dados. Ter mais extração manual de dados pode ser preferível a ter falsos positivos.
Este é o primeiro benchmarking quantitativo que vemos neste espaço e seguiremos uma metodologia semelhante para preparar o nosso próprio benchmarking.
4. Aproveite uma PoC para medir a taxa potencial de automação
Isto depende do número de campos que espera capturar dos documentos. Um conjunto típico de ~10 campos, incluindo itens como ID da ordem de compra, nome do fornecedor, etc., pode permitir a inserção de dados no ERP e os pagamentos.
Os fornecedores de melhores práticas alcançam ~80% de STP ao extrair todos estes ~10 campos com quase nenhuns erros ~80% das vezes. Embora possam ocorrer erros ocasionalmente, verificar manualmente os maiores pagamentos pode garantir que nenhum pagamento errado significativo passe despercebido.
5. Pergunte pelas opções de processamento avançado fornecidas pelo fornecedor
A extração é o primeiro passo na recolha de dados; precisa de ser seguida pelo processamento de dados na maioria dos casos. Por exemplo, as faturas precisam de ser verificadas quanto à conformidade com o IVA (por exemplo, faturas nacionais sem IVA precisam de explicar a razão da exclusão do IVA), e a não conformidade pode resultar em multas significativas para a empresa, dependendo do país.
6. Pergunte como a solução aprende sobre novas faturas
As melhores soluções têm uma interface para permitir que a sua equipa ajude a orientar a solução. À medida que o funcionário da sua empresa seleciona os pares chave-valor, a solução de captura de faturas toma nota para poder ter mais confiança numa fatura semelhante da próxima vez.
7. Avalie a facilidade de utilização da sua solução de inserção manual de dados
Será utilizada pelo pessoal de back-office da sua empresa à medida que processam manualmente faturas que não podem ser processadas automaticamente com confiança.
Além disto, fazem sentido as perguntas de aquisição de melhores práticas. Por exemplo:
- Quão amplamente adotada é a sua solução? Têm clientes Fortune 500?
- Os seus clientes estão satisfeitos com a solução e o suporte? Pode ser bom perguntar a um conhecido de uma empresa que já utilize a sua solução. Uma vez que a automação de faturas não é uma solução que melhore o marketing ou as vendas de uma empresa, até os concorrentes podem partilhar entre si a sua opinião sobre as soluções de automação de faturas.
- Quais são as opções para integrar a solução nos sistemas da sua empresa (por exemplo, ERP)? O departamento de TI concorda com a abordagem de integração?
- Qual é o seu Custo Total de Propriedade (TCO)? Diferentes soluções utilizam diferentes unidades de preço (por exemplo, preço por página ou preço por documento), o que dificulta esta comparação. No entanto, utilizando uma amostra dos seus arquivos, pode ter uma estimativa do custo.
Leitura adicional
Cite este benchmark
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{Fatura OCR Benchmark: Precisão de Extração de LLMs vs OCRs}},
year = {2026},
month = jan,
howpublished = {\url{https://aimultiple.com/invoice-ocr}},
note = {AIMultiple. Acessado em 22 Janeiro 2026}
}Links de referência
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.