Análise comparativa de OCR em faturas: Precisão de extração de LLMs versus OCRs
O processamento de faturas é uma operação comercial crítica, porém trabalhosa, que tradicionalmente exige a extração e inserção manual de dados em sistemas contábeis. Essa abordagem manual consome muito tempo e é suscetível a erros humanos. Para avaliar alternativas automatizadas, realizamos uma análise comparativa das principais soluções de processamento de documentos e sistemas de gestão de processos (LLMs):
- API Textract da Amazon
- Claude Sonnet 3.5
- Docsumo
- Google Documento IA
- Microsoft Documento do Azure Intelligência
- Rossum
Nosso estudo avaliou a capacidade dessas ferramentas em extrair dados com precisão de diversos formatos e qualidades de faturas, com o objetivo de quantificar sua eficácia como alternativas ao processamento manual.
Resultados de referência
Avaliamos o desempenho do processamento de faturas em faturas com diferentes níveis de qualidade e contraste. Embora todas as ferramentas tenham demonstrado um bom desempenho com imagens de alta qualidade, sua precisão diminuiu significativamente ao processar documentos de baixa qualidade. Entre as ferramentas testadas, a Claude Sonnet 3.5 apresentou a maior precisão e resiliência geral em todo o espectro de qualidades de documentos.
Metodologia
Medição: Nossa metodologia de avaliação focou na precisão da extração de pares chave-valor. Cada campo extraído foi avaliado usando uma classificação binária: extração correta ou extração incorreta/ausente. A métrica de precisão foi calculada usando a seguinte fórmula:
Precisão = (Número de pares chave-valor extraídos corretamente) / (Número total de pares chave-valor)
Essa metodologia possibilitou a comparação objetiva do desempenho da extração entre diferentes ferramentas e tipos de documentos.
Tamanho da amostra: Encontrar dados de faturas é um desafio, pois envolve informações pessoais como e-mails e nomes. Utilizamos mais de 400 pares de chave-valor de 20 amostras de faturas disponíveis publicamente.
Exemplos: Embora todas as soluções tenham processado corretamente imagens de alta qualidade, a qualidade da extração diminuiu em imagens como estas:
Ajuste fino : Embora os produtos que testamos tenham sido bem-sucedidos em encontrar os valores totais, apresentaram problemas na extração de detalhes de preços. É possível obter melhores resultados ajustando alguns produtos. Em alguns deles, os usuários podem clicar em um valor na imagem para corrigir a saída do modelo.
Para sermos justos com todos os fornecedores, não realizamos nenhum ajuste fino. Com o ajuste fino, todos os fornecedores deveriam ser capazes de alcançar taxas de sucesso mais altas na segunda vez que processarem esses documentos. No entanto, nosso foco neste benchmark está nas operações autônomas, que exigem que os modelos produzam resultados corretos e confiáveis a partir de documentos que eles nunca viram antes.
Cronograma: Todos os testes foram concluídos em dezembro de 2024.
Próximos passos
Aumento do número de participantes: Como este estudo fornece informações sobre as capacidades atuais de processamento de faturas em Modelos de Linguagem de Grande Porte (LLMs), tecnologias de OCR e ferramentas especializadas de processamento de faturas, planejamos expandir nossa análise incorporando LLMs de última geração adicionais para fornecer uma comparação mais abrangente de soluções automatizadas de processamento de faturas.
Aumentar o tamanho e a diversidade da amostra .
O que é OCR de faturas?
A análise de faturas utiliza ferramentas automatizadas como PNL ( Processamento de Linguagem Natural), NLU ( Compreensão de Linguagem Natural), OCR ( Reconhecimento Óptico de Caracteres) e outras tecnologias de extração de dados para extrair informações de faturas em diversos formatos, como PDFs e imagens.
Um analisador de faturas é um programa de software que extrai informações como:
Nome do fornecedor
Número da fatura
Valor devido
e os insere em um formato legível por máquina. Esses dados podem ser utilizados para diversas funções, como automatizar contas a pagar , concluir os fechamentos contábeis mensais e gerenciar faturas.
O software de análise sintática geralmente é integrado a um sistema de processamento de faturas que automatiza todo o processo, desde o recebimento da fatura até o pagamento.
Como funcionam as ferramentas de OCR para faturas?
Documentos escritos em uma determinada linguagem de marcação são lidos e processados por analisadores sintáticos. Eles dividem o documento em partes menores, chamadas tokens, e examinam cada token para determinar seu significado e sua posição na estrutura do documento.
Para isso, os analisadores sintáticos precisam conhecer bastante a gramática da linguagem de marcação em questão. Isso lhes permite reconhecer cada token e determinar as conexões exatas entre eles.
O processo inclui 5 etapas:
1. Entrada
As faturas podem ser recebidas em diversos formatos, incluindo papel, e-mail ou formatos eletrônicos como PDF ou XML. O software de análise de faturas normalmente aceita essas faturas como entrada.
2. Reconhecimento Óptico de Caracteres (OCR)
Se a fatura estiver em formato de documento digitalizado ou imagem, o analisador utilizará a tecnologia OCR para extrair o texto da imagem. Isso permite que o analisador acesse os dados contidos na fatura.
Algumas soluções de análise de faturas utilizam ferramentas de OCR com inteligência artificial ou LLMs (Modelos de Aprendizagem Baseados em Lógica) que extraem automaticamente informações de PDFs, fotos e documentos digitalizados sem a necessidade de novas regras ou modelos. Isso ocorre porque a IA consegue lidar com documentos semiestruturados e desconhecidos, aprimorando-se com o tempo. As informações extraídas podem ser personalizadas para incluir apenas tabelas ou entradas de dados específicas.
3. Extração de dados
O analisador irá então extrair informações específicas da fatura, como o nome do fornecedor, o número da fatura, a data e os detalhes dos itens. Isso geralmente é feito usando uma combinação de algoritmos de reconhecimento de padrões e aprendizado de máquina.
Alguns softwares de análise de faturas têm a capacidade de extrair informações importantes, como a data da fatura, o número, os números de identificação fiscal e vários totais, usando filtros predefinidos:
Algumas ferramentas de análise sintática oferecem a capacidade de extrair informações de itens de linha de faturas com um formato consistente, criando um analisador de documentos separado para cada layout específico de fornecedor ou parceiro comercial:
4. Validação de dados
Após a extração dos dados, o analisador validará as informações para garantir que estejam corretas e completas. Isso pode incluir verificar se a data está no formato correto, se o nome do fornecedor corresponde a uma lista predefinida de fornecedores ou se os detalhes do item correspondem ao formato esperado.
5. Saída de dados
Os dados extraídos e validados são então apresentados em um formato que pode ser facilmente importado para o sistema de contabilidade ou ERP do usuário. Isso pode ser feito por meio de um arquivo CSV, um registro de banco de dados ou diretamente em um software de contabilidade.
Desafios na extração manual de dados de faturas
Extrair dados de faturas manualmente e inseri-los em um sistema pode ser um desafio para as empresas, devido a diversas complexidades:
Erro humano
As faturas podem conter uma grande quantidade de dados, e a entrada manual aumenta o risco de erros, como erros de digitação, inversão de números e entrada de dados incorreta. Estima-se que as imprecisões na entrada de dados sejam responsáveis por perdas anuais de US$ 600 bilhões. 1 Processos como contas a pagar exigem uma exportação de dados correta a partir de documentos financeiros.
Demorado
Em média, são necessários 17 dias, ou aproximadamente 75% de um mês, para processar manualmente uma única fatura. 2
Muitas informações importantes estão incluídas nas faturas, e todas são apresentadas no formato chave-valor, onde cada item serve tanto como chave quanto como valor. O processo de extração manual desses pares é demorado e exige múltiplas verificações para garantir a precisão. Mesmo alguns algoritmos de OCR têm dificuldade em detectar os valores extraídos sem contexto. O processamento automatizado de faturas pode ajudar os funcionários a se concentrarem em tarefas mais complexas.
Falta de padronização
As faturas de diferentes fornecedores podem ter formatos diferentes. Cada fatura é gerada com um formato único, o que pode dificultar o processamento e a interpretação desses padrões. Os documentos, como e-mails, documentos em papel e PDFs, podem passar por diversos registros digitais e em papel antes de serem aprovados para pagamento, tornando a extração manual de dados um processo complexo e propenso a erros.
Ineficiência do processo
O processamento manual de faturas acarreta um custo médio de quase US$ 23 por fatura. 3 Pode ser demorado e caro, resultando em um processo ineficiente e repetitivo.
Potencial de perda de dados
Existe o risco de perda de dados se as faturas forem extraviadas ou danificadas, ou se os dados não forem inseridos corretamente no sistema.
O software OCR também costuma enfrentar dificuldades na extração de itens de faturas. Isso ocorre porque as tabelas de transações podem não ter linhas horizontais ou verticais, dificultando o processamento de faturas por OCR para estabelecer o contexto dos itens extraídos. Faturas digitais ou imagens de faturas coletadas podem ser usadas nesse processo.
Como escolher o fornecedor ideal para o processamento de faturas?
1. Fornece uma solução em conformidade com as políticas de privacidade de dados da sua empresa.
A política de privacidade de dados da sua empresa pode ser um obstáculo para o uso de APIs externas, como o Amazon AWS Textract. A maioria dos provedores oferece soluções locais, portanto, as políticas de privacidade de dados não necessariamente impediriam sua empresa de usar uma solução de captura de faturas. O fluxo de trabalho de contas a pagar deve ser tratado com muita atenção, pois frequentemente envolve informações comerciais e financeiras confidenciais.
2. Garanta uma estrutura de dados consistente, independentemente do texto presente nos documentos.
Existem duas maneiras pelas quais as empresas de captura de faturas baseadas em aprendizado profundo funcionam. Empresas como a Textract retornam pares de chave-valor. Assim, por exemplo, se uma fatura chama o valor total de "Valor bruto", outra chama de "Valor total" e outra fatura alemã chama de "Summe", a Textract fornece os dados em 3 estruturas diferentes para esses 3 documentos.
Em um dos casos, você tem um par chave-valor com a chave "Valor bruto", em outro "Valor total" e, no caso alemão, você obtém "Summe". Outros fornecedores desenvolveram estruturas de dados consistentes que funcionam para todas as faturas. Nos três cenários, você obterá "Valor total", que é a chave que eles usam em seu arquivo de saída. Isso facilita a análise e o processamento, pois você não precisa lidar com muitos formatos de dados estruturados diferentes.
3. Solicite as taxas de falsos positivos e de extração manual de dados.
Em seguida, execute um projeto de Prova de Conceito (PoC) para verificar as taxas reais nas faturas recebidas pela sua empresa.
Falsos positivos são faturas processadas automaticamente, mas que apresentam erros na extração de dados. Esses erros são difíceis de identificar e podem interromper as operações. Por exemplo, a extração incorreta de valores de pagamento seria problemática. Minimizar esses erros deve ser o foco principal.
A extração manual de dados é necessária quando o sistema automatizado de extração de dados tem pouca confiança em seus resultados. Isso pode ocorrer devido a um formato de fatura diferente, baixa qualidade da imagem ou um erro de impressão por parte do fornecedor. É importante minimizar esses erros, mas existe um equilíbrio delicado entre falsos positivos e extração manual de dados. Realizar mais extrações manuais pode ser preferível a ter falsos positivos.
Esta é a primeira avaliação comparativa quantitativa que vimos neste segmento e seguiremos uma metodologia semelhante para preparar nossa própria avaliação comparativa.
4. Utilize uma prova de conceito (PoC) para medir a taxa potencial de automação.
Isso depende da quantidade de campos que você espera capturar dos documentos. Um conjunto típico de cerca de 10 campos, incluindo itens como ID do pedido de compra, nome do fornecedor, etc., pode permitir a entrada de dados no ERP e a realização de pagamentos.
Os fornecedores que seguem as melhores práticas alcançam uma taxa de processamento direto (STP) de aproximadamente 80% extraindo todos esses cerca de 10 campos com quase nenhum erro em cerca de 80% dos casos. Embora possam ocorrer erros ocasionalmente, a verificação manual dos pagamentos de maior valor garante que nenhum pagamento incorreto significativo passe despercebido.
5. Solicite as opções de processamento avançadas oferecidas pelo fornecedor.
A extração é a primeira etapa na coleta de dados; na maioria dos casos, ela precisa ser seguida pelo processamento dos dados. Por exemplo, as faturas precisam ser verificadas quanto à conformidade com o IVA (por exemplo, faturas nacionais sem IVA precisam explicar por que o IVA foi excluído), e a falha em fazê-lo pode resultar em multas significativas para a empresa, dependendo do país.
6. Pergunte como a solução fica sabendo sobre novas faturas.
As melhores soluções possuem uma interface que permite à sua equipe auxiliar no processo de criação da solução. À medida que o funcionário da sua empresa seleciona os pares de chave-valor, a solução de captura de faturas registra as informações para que possa processar faturas semelhantes com mais precisão no futuro.
7. Avalie a facilidade de uso da solução de entrada de dados manual utilizada.
Será utilizado pela equipe administrativa da sua empresa para processar manualmente as faturas que não podem ser processadas automaticamente com a devida segurança.
Além disso, é importante considerar as melhores práticas de aquisição. Por exemplo:
- Qual o grau de adoção da solução deles? Eles têm clientes entre as empresas da lista Fortune 500?
- Os clientes deles estão satisfeitos com a solução e o suporte? Seria interessante perguntar a um conhecido de uma empresa que já utiliza a solução. Como a automação de faturas não é uma solução que vá melhorar o marketing ou as vendas de uma empresa, mesmo concorrentes podem compartilhar suas opiniões sobre soluções de automação de faturas.
- Quais são as opções para integrar a solução aos sistemas da sua empresa (ex.: ERP)? O departamento de TI está de acordo com a abordagem de integração?
- Qual é o Custo Total de Propriedade (TCO)? Diferentes soluções utilizam diferentes unidades de preço (por exemplo, preço por página ou preço por documento), o que dificulta essa comparação. No entanto, utilizando uma amostra dos seus arquivos, você pode obter uma estimativa do custo.
Leitura complementar
Links de referência
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios.