Extração de Documentos Agencial: LandingAI e muito mais em
A Extração de Documentos Agencial (ADE, na sigla em inglês) é uma forma especializada de Reconhecimento Óptico de Caracteres (OCR, na sigla em inglês) que extrai dados de diversos tipos de arquivos. Ela combina processamento de documentos, recuperação de dados, geração de saída estruturada e automação para otimizar o trabalho intelectual.
O ADE se destaca do OCR tradicional por sua capacidade de reconhecer estruturas complexas de documentos, como tabelas, fluxogramas e imagens. Isso o torna mais avançado do que os métodos convencionais de Processamento Inteligente de Documentos (IDP) e Geração Aumentada por Recuperação (RAG).
Testamos as 5 principais ferramentas de extração de documentos baseadas em agentes usando 60 imagens e medimos seu desempenho com uma pontuação composta, que inclui 3 métricas.
Resultados de teste comparativo para extração de documentos agéticos
Nossa avaliação comparativa revelou que o LandingAI é a ferramenta mais eficiente para extração de documentos automatizada, obtendo uma pontuação de 69 em 100.
*A ferramenta de extração de documentos baseada em agentes do Docsumo não oferece uma solução para extração de fluxogramas. O produto pode ser treinado para diversos processos de extração de documentos; no entanto, nosso benchmark é baseado em modelos prontos para uso. Portanto, o Docsumo não obteve pontuação na extração de fluxogramas.
Avaliamos as ferramentas usando três métricas para avaliação de fluxogramas e quatro métricas para avaliação de tabelas. Você pode encontrar os detalhes em nossa metodologia de benchmark de extração de documentos por agentes .
As 5 ferramentas de extração de documentos com agentes mais populares
Aterrissagem IA
A LandingAI deixou para trás as abordagens tradicionais e utilizou OCR em diferentes áreas. Seu processamento de documentos não se limita a um único tipo de extração de dados. A empresa afirma que sua ferramenta de extração de documentos interativa consegue extrair imagens complexas e "preencher as lacunas" quando necessário. A ferramenta pode ser utilizada no ambiente de testes da LandingAI ou por meio de chamadas de API.
Característica distintiva: Consegue extrair dados complexos e mistos (texto e tabela na mesma página) sem qualquer intervenção.
Mistral OCR
A Mistral AI introduziu o Mistral OCR para aprimorar a compreensão de documentos. Essa ferramenta processa com precisão uma variedade de elementos de documentos, incluindo texto, tabelas e imagens, mantendo sua estrutura e hierarquia. Ela suporta múltiplos formatos e fornece resultados em formato Markdown para facilitar a análise e a renderização.
Característica distintiva: É explicitamente otimizado para integrações multimodais de Geração Aumentada por Recuperação (RAG) , preservando a estrutura do documento com saída formatada em Markdown, ideal para fluxos de trabalho de IA subsequentes.
Anthropic Claude Sonnet 3.7
O Sonnet, modelo de IA de ponta com capacidades de raciocínio híbrido, permite alternar entre respostas rápidas e análises detalhadas, passo a passo. Este modelo pode processar PDFs de até 100 páginas, analisando tanto o texto quanto elementos visuais, como imagens, tabelas e gráficos. Seu modo de raciocínio estendido é ideal para tarefas complexas de análise de documentos, incluindo codificação e raciocínio matemático.
Característica distintiva: Suporta raciocínio híbrido profundo, combinando análise de resposta rápida com lógica meticulosa passo a passo, o que é benéfico para a compreensão abrangente e extração de informações de documentos extensos.
OpenAI o3-mini
O modelo de raciocínio OpenAI é uma solução econômica e reconhecida por sua capacidade de lidar com tarefas que exigem resolução de problemas passo a passo, como codificação e raciocínio matemático. Ele permite o upload de arquivos e imagens, o que aprimora seus recursos de análise de documentos. Usuários relataram sucesso no processamento de reconhecimento óptico de caracteres (OCR) de PDFs com o o3-mini, destacando sua capacidade de extrair seções relevantes com base em instruções do usuário.
Diferencial: Projetado especificamente como um modelo econômico que enfatiza o raciocínio iterativo e passo a passo, o que o torna excepcionalmente eficaz em tarefas de extração de dados estruturados que envolvem fluxos de trabalho lógicos ou computacionais.
Docsumo
A Docsumo oferece uma plataforma inteligente de processamento de documentos que inclui mais de 30 modelos de IA pré-treinados para extrair dados de diversos documentos, como extratos bancários e faturas. A plataforma oferece recursos como classificação automática, análise de documentos, extração de metadados e opções de exportação nos formatos JSON, CSV e Excel. Além disso, a Docsumo integra-se com ferramentas como o QuickBooks, o que ajuda a otimizar fluxos de trabalho e aumentar a eficiência.
Característica distintiva: Oferece treinamento especializado orientado pelo usuário, permitindo a criação de modelos de extração de IA personalizados e adaptados especificamente para conjuntos de dados individuais.
Preços
Você pode ver os preços das ferramentas que analisamos. Os LLMs operam com preços via API, que levam em consideração alguns fatores, como a cobrança separada de entrada e saída . Em contraste, as ferramentas de OCR geralmente utilizam preços por página, pagos conforme o uso. Para nossos cálculos de preços, consideramos que cada página contém aproximadamente 600 tokens. Essa conversão foi feita para garantir preços consistentes para você.
*O Docsumo oferece assinaturas anuais com cobrança mensal para um número fixo de páginas por ano.
Metodologia de benchmark ADE
Obtivemos nosso conjunto de dados de conjuntos de dados do Hugging Face com baixo número de downloads, de forma que as imagens utilizadas não estivessem presentes no conjunto de treinamento dos Modelos de Aprendizagem Linear (LLMs). Utilizamos 60 imagens, das quais 30 contêm fluxogramas de complexidade variada.
Imagem 1. Um exemplo de fluxogramas em nosso conjunto de dados.
Os fluxogramas foram carregados nas ferramentas como imagens PNG e os resultados foram obtidos como arquivos JSON. Utilizamos três métricas para medir o desempenho:
- Precisão do nó : mede a proporção de nós (rótulos/aliases) da verdade fundamental que o texto extraído menciona. Por exemplo, se a verdade fundamental lista 10 nós e o modelo referencia 8 com sucesso, a precisão do nó é 0,80 (80%).
- Precisão das arestas: Verifica se o texto extraído identifica corretamente as relações entre os nós (por exemplo, “Nó A → Nó B”). Por exemplo, se houver 5 arestas verdadeiras e o texto do modelo revelar apenas 3 corretamente, a precisão das arestas será calculada como 3/5 = 0,60 (60%).
- Precisão da decisão: Este conceito é semelhante à precisão de borda, mas aplicado a pontos de decisão (por exemplo, ramificações sim/não). Se houver quatro pontos de decisão e o modelo identificar todos os quatro, a precisão da decisão será de 100%.
A pontuação composta é a média simples das precisões dos nós, das arestas e das decisões, fornecendo uma medida geral de quão bem o texto extraído se alinha com todos os elementos do fluxograma.
O segundo conjunto de dados contém 30 imagens PNG com tabelas extraídas de diversos documentos do setor; o processamento desse conjunto de dados é o mesmo que o dos fluxogramas.
Imagem 2. Um exemplo de tabelas em nosso conjunto de dados.
Em nossa avaliação do desempenho da extração de tabelas, utilizamos quatro métricas principais para avaliar a fidelidade dos dados extraídos em relação à verdade fundamental. Essas métricas oferecem informações detalhadas sobre diferentes componentes estruturais de uma tabela, desde títulos até células individuais.
- Precisão do título : Avalia se o título extraído corresponde ao título real após a normalização (por exemplo, remoção de espaços em branco, normalização de maiúsculas e minúsculas). Isso garante a identificação correta do rótulo contextual da tabela.
Pontuação: É uma métrica binária , atribuindo-se uma pontuação de 1 para uma correspondência exata e 0 caso contrário. - Precisão do cabeçalho : Os cabeçalhos geralmente representam os nomes das colunas de uma tabela. Essa métrica verifica se a lista de cabeçalhos extraída corresponde à lista real. Ela quantifica a precisão com que os rótulos das colunas foram capturados, incluindo sua ordem e integridade.
Pontuação: A precisão do cabeçalho é calculada comparando cada elemento em ambas as listas e computando a proporção de elementos correspondentes em relação ao número máximo de itens em qualquer uma das listas. - Precisão da linha : mede quantas linhas verdadeiras aparecem na tabela extraída, independentemente da ordem. Isso reflete a completude da extração de dados no nível da linha.
Pontuação: Para cada linha na verdade fundamental, o avaliador verifica se há uma correspondência exata nas linhas extraídas. A pontuação é a fração de linhas correspondentes na verdade fundamental . - Precisão da célula : Essa métrica fornece uma comparação detalhada do conteúdo da tabela, avaliando a correspondência de células individuais. A precisão da célula captura a exatidão da extração de dados no nível mais granular.
Pontuação: Contabiliza o número de células correspondentes entre as tabelas extraídas e as tabelas de verdade fundamental. Células extras ou ausentes são tratadas como incompatibilidades. A pontuação final é a proporção de células correspondentes em relação ao total de células avaliadas .
Para fornecer uma métrica de resumo única, calculamos a pontuação tabular média como a média aritmética simples das quatro métricas: precisão do título, precisão do cabeçalho, precisão da linha e precisão da célula. Essa média fornece uma visão holística da qualidade da extração da tabela.
O que é extração de documentos por agentes?
A extração de documentos por agentes envolve o uso de agentes de IA para identificar, interpretar e extrair informações específicas de documentos de forma independente, com mínima intervenção humana. Ao contrário dos métodos tradicionais, que muitas vezes dependem de modelos rígidos ou marcação manual, a extração por agentes emprega sistemas inteligentes capazes de raciocinar e se adaptar dinamicamente. Essa abordagem aumenta significativamente a velocidade, a precisão e a eficiência do processamento de grandes volumes de documentos complexos.
Limitações do OCR tradicional
A tecnologia OCR tradicional é eficaz para extrair texto de documentos estruturados . No entanto, enfrenta desafios significativos ao processar documentos complexos, não estruturados ou semiestruturados. Limitações comuns incluem imprecisões causadas por variações de fontes, caligrafia, baixa qualidade de imagem e formatação inconsistente. Além disso,o OCR tradicional carece de compreensão contextual , o que pode levar à interpretação errônea dos dados. Consequentemente, a revisão manual ou o extenso pós-processamento são frequentemente necessários para corrigir erros, gerando ineficiências no fluxo de trabalho.
Casos de uso da extração de documentos por agentes
A Extração de Documentos Agente (ADE, na sigla em inglês) é um conceito relativamente novo e, como tal, não existem muitos exemplos práticos disponíveis. No entanto, ela tem potencial para ser aplicada em diversas áreas. Identificamos quatro exemplos em que a ADE pode ser implementada diretamente para otimizar processos em comparação com os métodos tradicionais de extração de documentos.
1. Serviços financeiros: Processamento automatizado de faturas
No setor financeiro, as organizações lidam diariamente com um grande número de faturas. A extração de documentos automatizada por agentes processa e valida os dados das faturas , garantindo precisão e conformidade com as normas. Essa automação acelera os ciclos de pagamento, melhora a gestão do fluxo de caixa e fortalece o relacionamento com os fornecedores.
2. Assistência médica: Simplificação dos formulários de admissão de pacientes
Os profissionais de saúde gerenciam inúmeros formulários de admissão de pacientes, cujo processamento manual pode ser demorado. A extração de documentos da Agentic captura dados desses formulários, facilitando a integração eficiente de pacientes e reduzindo a carga administrativa. Isso melhora a experiência do paciente e permite que a equipe médica se concentre mais no atendimento ao paciente .
3. Atendimento ao Cliente: Suporte por meio de análise documental.
Os departamentos de atendimento ao cliente frequentemente lidam com consultas que envolvem documentos detalhados, como contratos ou acordos de serviço. A extração de documentos automatizada permite a análise e extração de seções relevantes desses documentos, possibilitando que os agentes de suporte forneçam respostas precisas e oportunas. Essa tecnologia aprimora a qualidade das respostas e reduz o tempo que os agentes gastam procurando informações.
4. Seguros: Processamento de pedidos de indenização manuscritos
As seguradoras frequentemente recebem solicitações de reembolso manuscritas que exigem extenso processamento manual. A utilização de tecnologia avançada de extração de documentos permite interpretar com precisão o texto manuscrito , extrair os dados relevantes e integrá-los aos sistemas digitais. Esse processo reduz significativamente o tempo de processamento e os erros. Por exemplo, a Appian oferece soluções que automatizam a extração de dados de solicitações de reembolso manuscritas, otimizando os fluxos de trabalho e aumentando a eficiência geral.
Avanços recentes na extração de documentos por agentes
LandingAI DPT (Transformador pré-treinado de documentos)
O novo Document Pre-trained Transformer (DPT-2) da LandingAI representa uma melhoria significativa nas capacidades de processamento de documentos: 1
- O DPT-2 foi projetado especificamente para extrair dados com precisão de documentos complexos, com foco em tabelas intrincadas, o que é essencial para aplicações nas áreas financeira e médica.
- Tabelas complexas sem linhas de grade, células mescladas e layouts mais complexos estão entre os elementos problemáticos de documentos que o sistema atualizado consegue gerenciar.
- Segundo a LandingAI, sua tecnologia ADE reduziu o tempo de busca de informações em até 90% e processou bilhões de páginas.
- Com o SDK, a integração requer apenas três linhas de código, simplificando bastante a implementação.
- As novas funcionalidades incluem legendas de tabelas com agentes, legendas de figuras aprimoradas, detecção de layout mais inteligente e uma ontologia de blocos expandida, que agora pode identificar elementos como atestados, carteiras de identidade, logotipos, códigos de barras e códigos QR.
Agente de IA Composer do Extend
O Composer, um agente de IA criado especialmente para processamento de documentos, foi lançado pela Extend. 2 Para aprimorar sua plataforma de processamento de documentos, a Extend captou recentemente US$ 17 milhões em financiamento. Sua solução combina LLMs com APIs avançadas para desenvolvedores e ferramentas intuitivas para usuários não técnicos. Eles destacam os recursos do Composer, incluindo:
- O Composer otimiza automaticamente os esquemas de processamento de documentos para alcançar alta precisão rapidamente.
- Durante os testes beta iniciais, algumas equipes concluíram tarefas complexas de documentação com 99% de precisão em menos de 10 minutos.
- O Composer identifica as fragilidades do esquema, recomenda correções, executa testes paralelos e mostra as diferenças e melhorias na precisão, dispensando o ajuste manual dos prompts.
Melhores práticas para a implementação da extração de documentos por agentes.
Ao implementar a Extração de Documentos Agéticos, é essencial aproveitar a API de forma eficaz para extrair informações estruturadas de documentos visualmente complexos. Utilize os recursos integrados da sua ferramenta preferida para lidar com erros de forma eficiente, incluindo novas tentativas automáticas para problemas de limitação de taxa e erros HTTP intermitentes.
Práticas de configuração e segurança
A configuração adequada e o gerenciamento seguro de credenciais são vitais para o uso confiável e seguro da API:
- Defina sua chave de API com segurança como uma variável de ambiente ou armazene-a em um arquivo .env.
- Utilize o objeto Settings da biblioteca para um gerenciamento de configuração simplificado.
- Personalize facilmente as opções de configuração por meio de variáveis de ambiente ou arquivos .env para aumentar a flexibilidade e a segurança.
Essas práticas protegem dados sensíveis e ajudam a manter operações robustas.
Tratamento de erros e otimização no ADE
As ferramentas de Extração de Documentos Agentic oferecem recursos robustos de tratamento de erros para otimizar a confiabilidade e o desempenho:
- Eles gerenciam automaticamente os limites de taxa e erros HTTP intermitentes por meio de novas tentativas integradas.
- Eles evitam erros relacionados ao limite de taxa, seguindo as diretrizes de uso da API.
- A segmentação de documentos PDF grandes em lotes gerenciáveis aumenta de forma eficiente a velocidade e a estabilidade do processamento.
Essas estratégias minimizam o tempo de inatividade e garantem um desempenho ideal, mesmo em condições exigentes.
Perguntas frequentes
A extração de documentos baseada em agentes é uma abordagem avançada para extrair dados estruturados de documentos, focando não apenas no conteúdo textual, mas também na compreensão de elementos visuais como gráficos, tabelas, imagens e layout. Diferentemente da extração de texto tradicional, que se baseia na identificação do texto em um formato linear, a extração de documentos baseada em agentes considera o contexto visual e a fundamentação visual para fornecer extrações mais precisas. Ela interpreta tanto o conteúdo do documento original quanto seu layout, incluindo campos de entrada, campos de formulário, caixas delimitadoras e outros marcadores visuais. Essa abordagem a torna especialmente útil para o processamento de múltiplos documentos, como documentos de políticas, relatórios financeiros e formulários médicos, que frequentemente contêm uma combinação de texto e dados visuais. A estrutura baseada em agentes permite a extração de cláusulas-chave, tabelas, imagens e gráficos, possibilitando que as empresas automatizem fluxos de trabalho de inteligência de documentos com mais eficiência.
Para integrar a extração automatizada de documentos aos seus sistemas atuais, você pode usar a API de extração automatizada de documentos. Essa API oferece uma maneira simples de automatizar a extração de dados de vários tipos de documentos, incluindo arquivos PDF, formulários médicos e relatórios financeiros. Ao obter uma chave de API, você pode chamar a API para processar documentos e extrair informações valiosas, como documentos mais longos, resultados de exames e documentos de políticas. A API retornará os dados extraídos em um formato estruturado, como uma representação em Markdown, incluindo IDs de blocos, campos de formulário e outros contextos relevantes. Ela suporta o processamento simultâneo de vários documentos, ajudando as empresas a otimizar seus fluxos de trabalho. Seja lidando com detalhes de contas, tabelas ou imagens, a API foi projetada para lidar com layouts de documentos complexos e se adaptar às suas necessidades. A integração também oferece suporte ao gerenciamento de logs, permitindo que você acompanhe o desempenho e a precisão dos processos de extração.
A utilização da extração de documentos por agentes para documentos mais longos, como relatórios financeiros ou documentos de políticas, oferece inúmeros benefícios. Ao aproveitar elementos visuais e compreender o layout, a extração por agentes consegue analisar com precisão documentos complexos que abrangem várias páginas, decompondo-os em dados estruturados. Isso é particularmente útil para dados extraídos que incluem métricas financeiras importantes, tabelas e gráficos. Os métodos tradicionais de extração de texto podem ter dificuldades com esses formatos, mas a extração de documentos por agentes consegue lidar com as complexidades do contexto visual, permitindo extrair dados de vários documentos simultaneamente. Por exemplo, ao processar relatórios financeiros, o sistema pode identificar cláusulas-chave relevantes e campos de entrada, garantindo a extração precisa de dados mesmo de documentos com formatação complexa. Esse nível de precisão ajuda a melhorar a exatidão e reduz o trabalho manual, acelerando a tomada de decisões e a automação do fluxo de trabalho.
Leitura complementar
- Entender os preços do LLM para escolher o LLM certo para seu orçamento e necessidades.
- Outros mestrados em Direito (LLM) populares com avaliações para atender às necessidades da sua empresa.
- Dados de treinamento de OCR
Links de referência
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios.