O panorama da avaliação do LLM com suas respectivas estruturas

A avaliação de Modelos de Aprendizagem de Liderança (LLMs) requer ferramentas que avaliem o raciocínio em múltiplas etapas, o desempenho em produção e o uso das ferramentas. Dedicamos dois dias à revisão de frameworks populares de avaliação de LLMs que fornecem métricas estruturadas, registros e rastreamentos para identificar como e quando um modelo se desvia do comportamento esperado. Especificamente, nós:

• Verificou-se se as ferramentas de avaliação do LLM suportam análise de rastreamento do comportamento do agente e monitoramento da produção .
• Ferramentas agrupadas por foco de avaliação funcional .
• Comparação das capacidades de avaliação , desde testes de turno único até avaliações de múltiplos turnos em situações reais.

panorama da avaliação do LLM

capacidades de avaliação do LLM

Explicação das capacidades de avaliação:

• Gateway de IA (acesso a múltiplos modelos): Capacidade da plataforma de avaliar múltiplos modelos fundamentais através de uma interface de API unificada.
• Avaliações de turno único: medem o desempenho do modelo em perguntas individuais, utilizando métricas como precisão, veracidade ou coerência.
• Avaliações de múltiplas interações: Auxiliam na avaliação de trocas de informações ou conversas em várias etapas para testar o raciocínio contextual e a memória.
• Avaliações offline: As avaliações offline são usadas para verificar os resultados da aplicação LLM antes da liberação para produção. Use avaliações offline para verificações de CI/CD da sua aplicação LLM.
• Métricas LLM personalizadas: Permitem definir métricas de avaliação específicas para cada domínio ou tarefa, além dos métodos de pontuação predefinidos.

Comportamento do agente e capacidades de monitoramento de ferramentas

As ferramentas de avaliação podem ajudar na detecção de comportamentos desalinhados dos agentes, especialmente à medida que se amplia o escopo da "avaliação" (não apenas o estímulo ou a resposta, mas também o comportamento do agente ao longo do tempo, o uso da ferramenta e os efeitos colaterais).

Anthropic sugere que avaliar como um modelo se comporta, e não apenas o que ele diz, pode se tornar uma dimensão crucial de confiança e segurança em sistemas de IA de próxima geração. ¹

• Se você estiver interessado em monitoramento de produção e avaliação em nível de sistema, pode acessar a seção sobre frameworks de observabilidade do LLM com recursos de avaliação .
• Leia sobre plataformas de observabilidade e avaliação do LLM para saber mais.
• Se você estiver usando agentes RAG ou agentes de conclusão de tarefas, temos um guia separado sobre avaliação de agentes .

Estruturas centrais de avaliação do LLM

OpenAI Avaliação s

OpenAI Evals é uma estrutura de avaliação de código aberto desenvolvida por OpenAI para avaliar sistematicamente o desempenho de grandes modelos de linguagem (LLMs).

Trata-se de uma infraestrutura de avaliação de propósito geral que permite aos usuários medir a qualidade do modelo em uma ampla variedade de tarefas; desde a geração e o raciocínio sobre texto até a geração de saídas estruturadas, como código ou SQL.

Aqui está um exemplo de pipeline de avaliação construído com OpenAI Evals, projetado para avaliar a capacidade de um modelo de gerar consultas SQL sintaticamente corretas. A avaliação usa dados sintéticos gerados com GPT-4 e uma configuração YAML personalizada para registrar a avaliação na estrutura:

Avaliação profunda

É um framework que prioriza o Python, frequentemente descrito como "pytest para LLMs". Ele se destaca por seu amplo conjunto de métricas baseadas em pesquisa e por sua capacidade de testar pipelines completos ou componentes isolados.

Aqui está um exemplo de uma avaliação de rastreamento, representando uma única execução de um aplicativo LLM. Executar avaliações em rastreamentos permite uma avaliação de ponta a ponta do comportamento do modelo, semelhante às avaliações de turno único realizadas durante o desenvolvimento:

Fonte: ConfidentAI ³

MLflow (Avaliação LLM)

Ele estende o MLflow para a avaliação de modelos de aprendizado de máquina (LLM). Seu principal ponto forte é o rastreamento de experimentos e a comparação lado a lado entre execuções e versões.

Aqui está um exemplo da visualização de comparação de avaliação do MLflow, que exibe os resultados lado a lado de várias execuções. Neste caso, a métrica de pontuação concisa melhorou em 33%, enquanto a cobertura de conceitos diminuiu em 11%.

Fonte: MLflow ⁴

Ragas

RAGAS (Retrieval-Augmented Generation Assessment Suite) é uma estrutura de avaliação de código aberto projetada especificamente para medir o desempenho de aplicações de Geração Aumentada por Recuperação (RAG) e Aprendizado de Máquina de Carga Avançada (LLM) com agentes. Ela fornece um ambiente de experimentação leve, semelhante ao uso do pandas para análise rápida de dados.

O RAGAS avalia a eficácia com que um sistema recupera e integra o contexto relevante em suas respostas geradas. Ele faz isso por meio de um conjunto de métricas baseadas em pesquisa, incluindo:

• Fidelidade : o grau de precisão com que a resposta gerada reflete o contexto recuperado.
• Relevância contextual : o quão relevantes os documentos recuperados são para a consulta.
• Relevância da resposta : o quão relevante a resposta gerada é para a pergunta do usuário.
• Recuperação contextual e precisão contextual : quão completa e precisamente a informação relevante é recuperada.

Essas métricas se combinam para produzir uma pontuação RAG geral, que quantifica a qualidade tanto da recuperação quanto da geração. Além do RAG, o RAGAS agora oferece suporte a métricas para fluxos de trabalho com agentes, uso de ferramentas, avaliação de SQL e até mesmo tarefas multimodais por meio de extensões como Fidelidade Multimodal e Sensibilidade ao Ruído .

O RAGAS também introduz novas métricas ao longo do tempo, disponíveis no repositório do RAGAS no GitHub aqui .

Segue abaixo uma análise da distribuição de pontuações realizada pela RAGAS:

Fonte: RAGAS ⁵

TruLens

TruLens é uma biblioteca de código aberto projetada para a análise qualitativa de resultados de modelos de lógica de linha de base (LLM). Ela opera injetando funções de feedback que são executadas após cada chamada do modelo para avaliar a resposta. É adequada para análise de raciocínio e avaliação qualitativa, e não apenas para precisão.

Além dos testes de precisão, a TruLens oferece suporte à avaliação ética e comportamental:

Deepchecks (LLM)

O Deepchecks (LLM) é uma estrutura de avaliação de código aberto originalmente criada para validação de modelos de aprendizado de máquina, agora estendida para grandes modelos de linguagem (LLMs) e aplicações RAG. Ele oferece módulos especificamente adaptados para avaliar fluxos de trabalho de recuperação baseados em LLM.

A Deepchecks (LLM) destaca-se pelo seu foco em métricas de avaliação e fluxos de trabalho de automação:

• Agente-como-Juiz
• Avaliação RAG
• Quadro de avaliação do LLM
• Pipelines CI/CD

Aqui está um exemplo de caso de uso de perguntas e respostas em que o modelo responde a uma pergunta médica sobre dor relacionada à GVHD (Doença do Enxerto Contra o Hospedeiro).

Fonte: Deepchecks ⁶

Inspecionar IA

O Inspect AI é uma estrutura de avaliação de modelos de aprendizagem de código aberto desenvolvida com foco em avaliações de nível de pesquisa. Ele suporta avaliações tanto em nível de modelo quanto em nível de agente, permitindo que os usuários avaliem não apenas as saídas do modelo em uma única etapa, mas também o comportamento do agente em várias etapas, as cadeias de raciocínio e a execução de tarefas ao longo do tempo.

A estrutura é fácil de configurar em ambientes isolados, como contêineres Docker ou máquinas virtuais, tornando-a adequada para avaliar fluxos de trabalho com agentes de forma segura, sem expor o sistema hospedeiro. O Inspect fornece uma definição de tarefas e um modelo de execução claros, permitindo que os usuários definam rapidamente tarefas de avaliação, controlem tamanhos de amostra (por exemplo, para padrões estatísticos no estilo de CI) e integrem avaliações em pipelines automatizados.

O Inspect também fornece registros de avaliação detalhados, passo a passo, incluindo latência e uso de tokens por etapa, além de um relatório sobre ações e chamadas de ferramentas. Esse nível de detalhamento facilita o diagnóstico de onde e por que um modelo ou agente se desvia do comportamento esperado.

Outro ponto positivo do Inspect AI é que ele foi projetado para avaliação offline, priorizando a correção, a transparência e a reprodutibilidade em detrimento dos recursos de telemetria em tempo real.

Testes e otimização rápidos

Promptfoo

Promptfoo é um conjunto de ferramentas de código aberto para engenharia, teste e avaliação de prompts. Ele permite testes A/B de prompts e saídas do LLM usando configurações simples em YAML ou linha de comando e suporta avaliações com o LLM como avaliador.

O conjunto de ferramentas foi projetado para experimentação leve, não exigindo configuração em nuvem nem dependências de SDK, e é amplamente utilizado por desenvolvedores para iteração rápida de prompts e testes automatizados de robustez (como injeção de prompts ou verificações de toxicidade). Ideal para integrar a avaliação de prompts aos fluxos de trabalho de desenvolvimento diários.

Humanloop

Humanloop é uma plataforma de avaliação e otimização ágil centrada no feedback humano. Permite que as equipes coletem e analisem julgamentos humanos sobre os resultados do LLM (Learning Learning Machine), ajudando a melhorar a qualidade da resposta, o alinhamento do modelo e a confiabilidade.

Opik (por Comet)

Opik é uma plataforma de código aberto para avaliação e monitoramento de LLM (Learning Learning Machine) desenvolvida pela Comet. Ela fornece ferramentas para rastrear, avaliar e monitorar aplicações LLM ao longo de seu ciclo de vida de desenvolvimento e produção.

O Opik registra rastreamentos e extensões completos de fluxos de trabalho de prompts, oferece suporte a métricas automatizadas (incluindo métricas complexas como a correção factual por meio do LLM como avaliador) e permite a comparação de desempenho entre versões de prompts ou modelos.

Seu diferencial reside na combinação de avaliação rápida com gerenciamento de experimentos e observabilidade, preenchendo a lacuna entre testes e monitoramento da produção.

Avaliação específica da estrutura

Avaliações LangChain

O LangChain Evals é uma ferramenta de avaliação específica para fluxos de trabalho do LangChain. Ele fornece um conjunto de modelos e métricas de avaliação integrados, personalizados para avaliar o desempenho de aplicações LangChain, especialmente aquelas que envolvem cadeias complexas de LLMs (Máquinas de Aprendizado de Liderança).

LangSmith

LangSmith é uma plataforma de avaliação e observabilidade desenvolvida pela equipe LangChain. Ela fornece ferramentas para registro e análise de interações LLM, com recursos de avaliação especializados para tarefas como detecção de viés e testes de segurança.

Trata-se de um serviço gerenciado (hospedado), e não de uma ferramenta totalmente de código aberto, que oferece suporte de nível empresarial para aplicações baseadas em LangChain.

Avaliação do LlamaIndex

O LlamaIndex Eval é um conjunto de ferramentas de avaliação integrado à estrutura do LlamaIndex (anteriormente GPT Index), para avaliar pipelines RAG construídos sobre o LlamaIndex. Ele inclui um Avaliador de Correção que compara as respostas geradas com respostas de referência para uma determinada consulta e também pode usar GPT-5 como um juiz para avaliar a qualidade da resposta de forma independente de referências.

Sua funcionalidade é semelhante à do RAGAS, mas está integrada nativamente ao fluxo de trabalho do LlamaIndex, permitindo que os desenvolvedores avaliem a qualidade da recuperação e geração sem introduzir dependências externas.

Estruturas de observabilidade LLM com capacidades de avaliação

Arize Phoenix

O Phoenix, desenvolvido pela Arize AI (uma empresa de observabilidade de aprendizado de máquina), é um conjunto de ferramentas de código aberto para analisar e solucionar problemas de comportamento de aprendizado de máquina em ambientes de produção. Ao contrário das estruturas de avaliação tradicionais, o Phoenix se concentra na observabilidade e na análise exploratória, em vez de métricas predefinidas.

O Phoenix pode ser usado para monitorar sistemas RAG ou LLM implantados e, em seguida, recorrer a estruturas como RAGAS ou Giskard para uma avaliação mais aprofundada, em nível de métricas, dos problemas identificados.

Langfuse

O Langfuse concentra-se principalmente no monitoramento de sistemas LLM (Large Language Model) e RAG (Retrieval-Augmented Generation). Ele ajuda as equipes a rastrear e analisar o desempenho dos modelos em ambientes de produção em tempo real.

Embora possa avaliar o desempenho do modelo por meio de várias métricas, sua principal vantagem reside em proporcionar observabilidade sobre o comportamento dos pipelines LLM e RAG durante a operação. Isso inclui o rastreamento do desempenho em todas as saídas do LLM, a qualidade da recuperação e a deriva do modelo, garantindo que os modelos continuem atendendo aos padrões de qualidade à medida que interagem com conjuntos de dados dinâmicos ou mudam ao longo do tempo.

Langtrace AI

A Langtrace AI é especializada na avaliação de aplicações LLM, capturando rastreamentos detalhados e métricas de desempenho. Ela oferece ferramentas para monitorar aspectos-chave como uso de tokens, latência, precisão e custo, proporcionando uma visão abrangente do comportamento e desempenho do modelo.

Lunar

A Lunary se especializa em fornecer observabilidade profunda das interações LLM, permitindo que os desenvolvedores monitorem e avaliem o comportamento do modelo em ambientes de produção em tempo real.

Métricas de avaliação do LLM

As métricas de avaliação de mestrados em direito (LLM) evoluíram de avaliadores estatísticos tradicionais para abordagens baseadas em modelos e, agora, para abordagens que consideram o LLM como um avaliador. Segue uma breve explicação de cada uma:

• Métricas estatísticas (baseadas em referência): Métricas como acurácia, precisão, recall, F1, BLEU e ROUGE medem a sobreposição com uma resposta de referência. Elas funcionam bem para tarefas estruturadas (por exemplo, classificação, sumarização), mas têm dificuldades com resultados abertos.
• Avaliadores baseados em modelos (sem referência): Métricas como Supert, BLANC, SummaC ou QAFactEval avaliam a qualidade, a factualidade ou a consistência lógica do texto sem referências exatas.
• Avaliadores baseados em LLM (LLM como juiz): As avaliações usam outro modelo (por exemplo, GPT-5 ) para avaliar a qualidade da resposta no contexto.

Para mais informações, consulte: Avaliações agentivas: Como avaliamos candidaturas a LLM?

Por que as avaliações de LLM são difíceis?

Avaliar LLMs está longe de ser simples. Além do fato de os critérios de qualidade variarem conforme o caso de uso, o próprio processo de avaliação é fundamentalmente diferente dos testes de software tradicionais ou da avaliação preditiva de aprendizado de máquina.

Uma das principais dificuldades é o não determinismo: os LLMs geram resultados probabilísticos, portanto, a mesma entrada pode produzir respostas diferentes a cada vez, tornando a consistência e a reprodutibilidade mais difíceis de medir.

Fonte da imagem: AI world ⁷

Embora a natureza probabilística dos LLMs permita respostas criativas e diversas , ela também torna a avaliação mais difícil; é preciso determinar se uma gama de resultados ainda atende às expectativas, em vez de verificar uma única resposta correta.

Não existe uma única verdade absoluta: os sistemas de aprendizagem de línguas (LLMs) frequentemente abordam tarefas abertas, como escrita, resumo ou conversação. Nesses casos, podem existir muitas respostas válidas. Avaliar esses sistemas exige medir a similaridade semântica, o tom, o estilo ou a precisão factual, e não apenas comparar com o texto de referência.

Diversidade no espaço de entrada: as aplicações de LLM (Learning Learning Management) lidam com uma vasta gama de entradas; por exemplo, um chatbot de suporte ao cliente pode responder a perguntas sobre devoluções, faturamento ou segurança da conta. Uma avaliação eficaz requer conjuntos de testes baseados em cenários que capturem essa diversidade.

Mesmo testes offline bem elaborados podem falhar em implantações no mundo real, onde os usuários introduzem solicitações inesperadas e casos extremos. Isso destaca a necessidade de avaliação e observabilidade contínuas em produção para garantir a qualidade consistente do modelo ao longo do tempo.

Riscos únicos na avaliação do LLM

Trabalhar com sistemas probabilísticos que seguem instruções introduz riscos novos e complexos que a avaliação tradicional de IA raramente abrange:

• Alucinações: O modelo pode gerar informações falsas ou enganosas — por exemplo, inventar produtos, citar fontes inexistentes ou fornecer aconselhamento médico ou jurídico incorreto.
• Explosões de segurança: Usuários maliciosos podem explorar avisos para contornar as restrições de segurança , induzindo o modelo a produzir conteúdo prejudicial, tendencioso ou proibido.
• Vazamento de dados: Um LLM pode revelar involuntariamente informações sensíveis ou proprietárias de seus dados de treinamento ou sistemas conectados.

Para mitigar esses problemas, as equipes precisam de fluxos de trabalho de avaliação robustos que vão além das métricas de precisão:

• Realizar testes de estresse em modelos com entradas adversárias e de casos extremos para descobrir vulnerabilidades.
• Realize testes de intrusão e avaliações de segurança para testar a resiliência do modelo a estímulos maliciosos.
• Monitore continuamente as interações em tempo real para detectar problemas emergentes, como desvios, vazamentos de privacidade ou resultados inseguros em produção.

Métodos de avaliação de LLM

Os métodos de avaliação de LLM ajudam a medir o desempenho de um modelo de linguagem em tarefas como raciocínio, sumarização e diálogo. Isso inclui métricas estatísticas (como BLEU e ROUGE) e abordagens em que o LLM atua como juiz, nas quais outro modelo avalia a qualidade, a segurança e a precisão factual. Há também métodos de avaliação baseados em testes comportamentais e de agentes, que monitoram como os modelos se comportam ao longo do tempo e utilizam ferramentas.

Para uma visão mais aprofundada das principais abordagens e seus desafios, confira nosso artigo completo sobre métodos de avaliação de LLM .

Links de referência

1.

SHADE-Arena: Evaluating Sabotage and Monitoring in LLM Agents \ Anthropic

2.

Getting Started with OpenAI Evals

3.

LLM Tracing Quickstart | Confident AI Docs

4.

LLM Tracing Quickstart | Confident AI Docs

5.

Compare LLMs using Ragas Evaluations - Ragas

6.

Compare Between Versions

7.

Why LLMs Can't Give the Same Answer Twice / AI World

Cem Dilmegani

Analista Principal

Siga-nos

Cem é o analista principal da AIMultiple desde 2017. A AIMultiple fornece informações para centenas de milhares de empresas (segundo o SimilarWeb), incluindo 55% das empresas da Fortune 500, todos os meses. O trabalho de Cem foi citado por importantes publicações globais, como Business Insider, Forbes e Washington Post, além de empresas globais como Deloitte e HPE, ONGs como o Fórum Econômico Mundial e organizações supranacionais como a Comissão Europeia. Você pode ver mais empresas e recursos renomados que mencionaram a AIMultiple. Ao longo de sua carreira, Cem atuou como consultor de tecnologia, comprador de tecnologia e empreendedor na área. Ele assessorou empresas em suas decisões tecnológicas na McKinsey & Company e na Altman Solon por mais de uma década. Também publicou um relatório da McKinsey sobre digitalização. Liderou a estratégia de tecnologia e a área de compras de uma empresa de telecomunicações, reportando-se diretamente ao CEO. Além disso, liderou o crescimento comercial da empresa de tecnologia avançada Hypatos, que atingiu uma receita recorrente anual de sete dígitos e uma avaliação de nove dígitos, partindo de zero, em apenas dois anos. O trabalho de Cem no Hypatos foi noticiado por importantes publicações de tecnologia, como TechCrunch e Business Insider. Cem participa regularmente como palestrante em conferências internacionais de tecnologia. Ele se formou em engenharia da computação pela Universidade Bogazici e possui um MBA pela Columbia Business School.

Ver perfil completo

Seja o primeiro a comentar

Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios.

Nome

Endereço de email

Comentário

0/450

Postar comentário