Análise comparativa dos 16 melhores modelos de incorporação de código aberto para RAG

A maioria dos benchmarks de embeddings mede a similaridade semântica. Nós medimos a correção. Testamos 16 modelos de código aberto, com embeddings de 23 milhões a 8 bilhões de parâmetros, em 490.000 avaliações de produtos da Amazon, classificando cada um de acordo com a capacidade de recuperar a avaliação correta do produto por meio da correspondência exata do ASIN, e não apenas por documentos tematicamente semelhantes.

Visão geral comparativa de modelos de incorporação de código aberto

Avaliamos a precisão e a velocidade de recuperação em 100 consultas selecionadas manualmente, abrangendo tanto modelos leves otimizados para velocidade quanto incorporações em larga escala baseadas em LLM, projetadas para máxima compreensão semântica.

Precisão: desempenho de recuperação Top-K

O que é a precisão top-K?

A precisão Top-K mede a frequência com que o documento correto aparece entre os K primeiros resultados recuperados:

• Top-1: A resposta correta é classificada em primeiro lugar (a mais precisa).
• Top 3: A resposta correta aparece entre os 3 primeiros resultados.
• Top-5: A resposta correta aparece entre os 5 primeiros resultados (mais relevante para o método RAG, que normalmente utiliza de 3 a 5 documentos de contexto).
• Média: Precisão média entre o 1º, 3º e 5º colocados.

Maior precisão significa que o modelo encontra com sucesso a avaliação de produto correta com mais frequência.

Principais conclusões a partir dos resultados de precisão:

Desempenho perfeito entre os 5 melhores: Três modelos da família e5 (e5-small, e5-base-instruct, e5-large-instruct) alcançaram 100% de precisão entre os 5 melhores. Eles nunca erraram a resposta correta quando tiveram 5 tentativas.

Vencedor do Top-1: llama-embed-nemotron-8b alcançou 62% de precisão Top-1, a mais alta entre todos os modelos testados, incluindo aqueles 70 vezes menores.

Modelos grandes decepcionam no Top-5: Apesar de possuírem de 7 a 8 bilhões de parâmetros e vetores de 4096 dimensões, os maiores modelos (e5-mistral-7b, gte-qwen2-7b, sfr-mistral, gritlm-7b, llama-embed-nemotron-8b) alcançaram apenas 82-90% de precisão no Top-5. O modelo e5-small, com 118 milhões de parâmetros, superou todos os demais, atingindo 100% de precisão no Top-5.

O paradoxo da eficiência: o e5-small processa consultas 14 vezes mais rápido que o llama-embed-nemotron-8b (16ms vs 195ms), ao mesmo tempo que alcança uma precisão Top-5 maior (100% vs 88%).

Melhor modelo grande: o gritlm-7b alcançou a maior precisão Top-5 (90%) entre os modelos com mais de 7 bilhões de documentos, mas apresenta uma anomalia na classificação. Sua precisão Top-1 (38%) é a mais baixa da sua classe, indicando que o modelo encontra documentos corretos, mas tem dificuldades para classificá-los em primeiro lugar.

O grupo de 56%: Cinco modelos (jina-v3, qwen3-0.6b, snowflake-arctic, all-MiniLM-L6-v2 e outros) atingiram um platô de 56% de precisão Top-5, mostrando uma clara diferença de desempenho em relação aos líderes.

Tamanho não é sinônimo de precisão: o menor modelo (e5-small, 118 milhões de parâmetros) superou modelos 70 vezes maiores na recuperação dos 5 principais resultados para busca de produtos.

O modelo all-MiniLM-L6-v2 (com mais de 200 milhões de downloads no HuggingFace) alcançou apenas 56% de acurácia Top-5 e 28% Top-1, figurando entre os piores resultados. Sua arquitetura de 2019 não consegue competir com os modelos modernos otimizados para recuperação de informações.

Latência

O que é latência?

• Latência (ms): Tempo necessário apenas para a geração do embedding (conversão de texto em vetor). Quanto menor, melhor. O tempo de busca do vetor não está incluído nessas medições.

Essas métricas medem a rapidez com que um modelo pode atender aos usuários em produção.

Principais conclusões a partir dos resultados de desempenho:

Campeão de velocidade: o modelo e5-small apresentou latência de incorporação de 16 ms, o modelo mais rápido testado. Ele é 14 vezes mais rápido que o cluster de modelos grandes (187-221 ms).

A barreira da latência: Todos os modelos com mais de 7 bilhões de parâmetros agrupam entre 187 e 221 ms de latência, aproximadamente 10 vezes mais lentos que os modelos com menos de 1 bilhão de parâmetros. Isso os torna inadequados para buscas em tempo real voltadas para o usuário sem aceleração por GPU.

A diferença de desempenho de 14x: o e5-small processa 14 consultas no tempo que o llama-embed-nemotron-8b processa 1, além de alcançar uma precisão Top-5 12% maior.

Cluster com latência inferior a 30ms: Cinco modelos (e5-small, all-MiniLM-L6-v2, mpnet-base-v2, e5-base-instruct e bge-m3) alcançaram latência inferior a 30ms, tornando-os adequados para aplicações em tempo real.

Ponto ideal para produção: e5-small e e5-base-instruct combinam alta precisão (100% Top-5) e baixa latência (menos de 30ms), tornando-os ideais para sistemas RAG de produção.

Compensação para modelos grandes: Se você precisa da maior precisão Top-1 e pode tolerar uma latência de aproximadamente 200ms, o modelo llama-embed-nemotron-8b oferece a melhor precisão de classificação (62% Top-1) entre todos os modelos testados.

Nota: Estes são os tempos de inferência do modelo puro, sem operações de banco de dados vetorial. Todos os modelos foram testados em uma GPU H100 com precisão BF16.

Características técnicas dos modelos de incorporação de código aberto

Compreendendo as especificações técnicas:

• Parâmetros: O tamanho do modelo em milhões de pesos treináveis. Modelos maiores (500 milhões ou mais) têm maior capacidade de aprender padrões complexos, mas exigem mais memória e poder computacional.
• Dimensão: O comprimento do vetor em que cada texto é convertido (por exemplo, 384 significa que cada documento se torna um vetor de 384 elementos). Dimensões maiores (1024) podem capturar mais nuances semânticas, mas exigem mais armazenamento e cálculos de similaridade mais lentos.
• Comprimento máximo: O número máximo de tokens (aproximadamente palavras) que o modelo pode processar em uma única entrada. Modelos com comprimento máximo de 8192 tokens conseguem lidar com documentos muito longos sem fragmentação, enquanto modelos com 512 tokens exigem a divisão de textos mais longos.

Conclusão principal: especificações maiores não significam automaticamente melhor desempenho. O modelo e5-small (118M parâmetros, 384 dimensões, 512 tokens) obteve os melhores resultados apesar de ter as especificações mais modestas da categoria superior.

Metodologia de referência

Corpus e consultas

Conjunto de dados: 490.000 avaliações de clientes da Amazon (categoria Saúde e Cuidados Pessoais)

• Cada avaliação = vetor de documento único
• Indexado no Qdrant com similaridade de cosseno.

Conjunto de teste: 100 consultas selecionadas manualmente

• Perguntas reais de usuários (ex.: "Este probiótico é bom para a digestão?")
• Cada um é mapeado para um produto correto por meio da verificação do ASIN.

correspondência de verdade fundamental

Nossa avaliação utiliza o ASIN (Número de Identificação Padrão da Amazon) do produto para correspondência exata:

1. A consulta especifica o ASIN do produto alvo.
2. O modelo recupera os 5 documentos principais (classificados por similaridade de cosseno).
3. O sistema verifica se algum documento recuperado corresponde ao ASIN correto.
4. Resultado binário: Correspondência = Acerto ✓, Sem correspondência = Erro ✗

Exemplo:

Isso garante a exatidão factual do produto , e não apenas a similaridade semântica.

O papel da similaridade de cosseno

Onde a similaridade de cosseno é utilizada:

• A Qdrant classifica internamente todos os 490 mil documentos por similaridade com a consulta.
• Os 5 documentos com as maiores pontuações são devolvidos.

Onde NÃO é utilizado:

• A verificação da verdade fundamental utiliza a correspondência exata do ASIN (igualdade de strings).
• Alta pontuação de similaridade ≠ resposta correta

Por que isso é importante:

Um modelo pode recuperar documentos muito semelhantes, mas factualmente incorretos:

Isso demonstra por que a correção factual é mais crítica do que a relevância semântica para sistemas RAG.

Configuração de avaliação

Hardware: GPU H100 de 80 GB via RunPod com precisão BF16 (bfloat16)

Banco de dados de vetores: Qdrant (instância local)

Modo: Zero-shot (sem ajuste fino)

Garantias de imparcialidade:

• O mesmo corpus de 490 mil para todos os modelos.
• As mesmas 100 consultas
• Mesmo hardware (H100 no RunPod) e pipeline de pré-processamento.
• Coleções isoladas (sem vazamento de vetores)
• Dimensões de incorporação nativas por modelo
• Precisão BF16 para todos os modelos

Métricas

Precisão Top-K:

Medido em K=1, 3 e 5. O Top-5 é o mais relevante, visto que os sistemas RAG normalmente usam de 3 a 5 documentos de contexto.

Desempenho:

• Latência média: Tempo médio para geração do embedding (conversão de texto para vetor)

Limitações

Especificidade do domínio: Os resultados refletem a recuperação de produtos de Saúde e Cuidados Pessoais. O desempenho pode variar em domínios de pesquisa jurídica, financeira ou de código.

Dependência de hardware: Todos os modelos foram testados em NVIDIA H100 80GB com precisão BF16. O desempenho pode variar dependendo do hardware utilizado.

• GPUs para consumidores (RTX 3090/4090): 2 a 3 vezes mais lentas, podem exigir quantização INT8 para modelos com 7 bilhões de pixels ou mais.
• GPUs em nuvem (A100, L40S): Desempenho semelhante ao H100
• Inferência somente com CPU: 10 a 50 vezes mais lenta, dependendo do tamanho do modelo.

Requisitos de memória da GPU: Modelos grandes (7B+) requerem aproximadamente 16-20 GB de VRAM com precisão BF16. GPUs para consumidores com menos VRAM podem precisar de quantização INT8, o que pode impactar a precisão em 5-10%.

Correspondência baseada em ASIN: Nossa abordagem mede a precisão em nível de produto. Conjuntos de dados alternativos sem identificadores únicos exigiriam métodos de verificação diferentes.

Apenas testes zero-shot: Modelos testados sem ajuste fino específico do domínio. Modelos ajustados podem alcançar classificações diferentes.

modelos de incorporação de código aberto

lhama-embutida-nemotron-8b

O modelo de incorporação principal do NVIDIA, baseado no Llama-3.1-8B com atenção bidirecional, foi projetado para sistemas RAG empresariais que exigem o máximo de compreensão semântica.

Em nossa avaliação:

• A maior precisão Top-1 (62%) entre todos os 16 modelos. Classifica a resposta correta em primeiro lugar com mais frequência do que qualquer outro modelo.
• Alta precisão no Top 5 (88%), mas ainda abaixo da pontuação perfeita da família e5.

Ideal para: Implantações empresariais onde a precisão de primeira linha é essencial e a infraestrutura de GPU está disponível.

e5-pequeno

Um codificador de recuperação multilíngue compacto, otimizado para busca semântica de alto desempenho, comumente utilizado em algoritmos RAG em tempo real, sistemas de recomendação e recuperação de produtos. Treinado para recuperação contrastiva eficiente, ele foi projetado para maximizar a velocidade de inferência sem sacrificar a qualidade da classificação.

Em nossa avaliação, apresentou o melhor equilíbrio geral:

• Precisão de recuperação de 100% entre os 5 primeiros resultados.
• A menor latência

e5-base-instruct

Otimizada para alinhamento entre consulta e documento, essa abordagem é ideal para buscas orientadas a tarefas, assistentes de IA e fluxos de recuperação guiada. Seu objetivo de treinamento aprimora a compreensão imediata no momento da incorporação, aumentando a precisão para consultas estruturadas.

e5-grande-instruir

Uma variante de maior capacidade, projetada para recuperação com foco na precisão em buscas de conhecimento corporativo, descoberta jurídica e ambientes de consulta complexos. Ela se beneficia de um aprendizado de representação mais profundo, mas acarreta custos de inferência maiores.

Observamos uma acurácia Top-K competitiva, mas também compensações significativas em termos de latência e QPS, reforçando a ideia de que a escalabilidade do modelo por si só não garante uma melhor recuperação em produção.

gte-multilingual

Um modelo de recuperação densa em mais de 70 idiomas, desenvolvido para buscas multilíngues e descoberta de conteúdo global, frequentemente utilizado para suporte ao cliente multilíngue e bases de conhecimento internacionais.

O modelo apresentou precisão de recuperação confiável, mas latência maior do que os modelos que priorizam a otimização, sugerindo que a generalização ampla da linguagem introduz sobrecarga computacional mesmo em condições de teste com um único idioma.

bge-m3

Um codificador de múltiplas representações que suporta recuperação vetorial densa, esparsa e híbrida, projetado para documentos longos e fluxos de busca multivetorial. Frequentemente usado em sistemas de busca léxico-semântica híbridos que exigem flexibilidade.

Apesar da versatilidade arquitetônica, ficou atrás de modelos otimizados menores em precisão Top-K e apresentou maior latência, evidenciando que o design de incorporação multi-objetivo nem sempre se traduz em maior precisão de recuperação.

nomic-embed-v1.5

Um modelo de incorporação de Mistura de Especialistas com redução dimensional Matryoshka, projetado para armazenamento vetorial adaptativo e inferência eficiente. Frequentemente utilizado em sistemas de busca vetorial com restrições de custo que escalam as dimensões da incorporação dinamicamente.

Na prática, a precisão manteve-se sólida, mas não superou as linhas de base menores, que utilizavam apenas algoritmos densos, em termos de velocidade ou correção, demonstrando que os ganhos teóricos de eficiência nem sempre se traduzem em melhorias na recuperação de dados.

Jina-v3

Um modelo de recuperação multilíngue desenvolvido para busca de documentos heterogêneos, APIs de busca e recuperação de conhecimento empresarial em formatos mistos. Projetado para generalização entre domínios e tipos de conteúdo.

Apresentou precisão e latência estáveis, mas não atingiu o desempenho de correspondência exata de alto nível em tarefas de recuperação de entidades, como pesquisas de produtos.

qwen3-0.6b

Um modelo de recuperação multilíngue otimizado para busca semântica e agrupamento orientados por instruções, usado em busca conversacional, recuperação de perguntas e respostas e corpora multilíngues.

Apresentou precisão competitiva, mas latência de inferência maior em relação ao tamanho de seus parâmetros, limitando sua eficiência em implantações com alta taxa de consultas por segundo (QPS).

floco de neve-ártico

Um codificador de recuperação voltado para busca semântica em escala empresarial e sistemas de conhecimento internos, desenvolvido para estabilidade em índices vetoriais muito grandes.

Embora consistente, seu desempenho foi superado por modelos menores otimizados para recuperação de informações, tanto em precisão quanto em latência, reforçando a ideia de que escala empresarial não equivale inerentemente a maior precisão de recuperação.

todos-MiniLM-L6-v2

Um codificador denso leve e com baixo consumo de CPU, amplamente utilizado para busca local, prototipagem e implantação na borda da rede, onde os recursos computacionais são limitados.

Obteve excelente latência e QPS, mas menor precisão Top-K para busca exata de entidades, demonstrando que modelos semânticos compactos nem sempre são suficientes para a recuperação factual de produtos.

mpnet-base-v2

Um transformador treinado para similaridade semântica e agrupamento, frequentemente aplicado em análises, recomendações e desduplicação semântica.

Embora seja eficiente na captura do significado semântico, apresentou desempenho inferior na recuperação de produtos por correspondência exata e demonstrou inferência mais lenta do que modelos compactos especializados em recuperação.

Principais considerações para a implementação de modelos de incorporação

Ao implementar um modelo de incorporação (seja ele proprietário ou de código aberto), diversos fatores determinam como alcançar o desempenho e a eficiência ideais:

Desempenho e precisão

O modelo de incorporação correto deve ser escolhido para atender às necessidades específicas de recuperação ou classificação. O objetivo é gerar incorporações que proporcionem alta qualidade de recuperação para o seu domínio.

• Dica: Sempre consulte benchmarks estabelecidos para avaliar o desempenho de um modelo em tarefas relevantes para sua aplicação (similaridade semântica, agrupamento, etc.).
• Nota sobre o tamanho do modelo: Modelos maiores oferecem melhor precisão (compreensão semântica superior) porque possuem mais parâmetros para aprender relações complexas, mas isso deve ser equilibrado com as restrições de implantação.

Latência e escalabilidade

A baixa latência na velocidade de incorporação é crucial para aplicações em tempo real (por exemplo, busca instantânea ou recomendações ao vivo). Este ponto se concentra nos requisitos técnicos para executar o modelo de forma rápida e confiável.

• Dica: Escolha uma plataforma de implantação que ofereça escalonamento automático eficiente e hardware otimizado (GPUs/TPUs) para garantir baixa latência constante e capacidade de lidar com tráfego flutuante.
• Nota sobre o tamanho do modelo: Modelos menores e mais eficientes (como modelos simplificados) costumam ser mais adequados quando a baixa latência é crucial. A alta latência na etapa de recuperação de um sistema RAG prejudica diretamente a experiência do usuário final, tornando a geração de respostas mais lenta.

3. Integração com sistemas complexos de IA

Os modelos de incorporação são frequentemente componentes de soluções de IA mais amplas e complexas. Por exemplo, um sistema RAG combina um modelo de incorporação de texto com um LLM.

• Dicas: Selecione plataformas que ofereçam suporte nativo ao serviço de múltiplos modelos, recursos como orquestração distribuída (gerenciamento do fluxo de dados entre modelos) e observabilidade (monitoramento do desempenho em toda a cadeia). Lembre-se de que sua estratégia de implantação deve simplificar a construção e o escalonamento dessas cadeias de múltiplos modelos.

Licença e uso comercial

Embora todos os 16 modelos tenham pesos disponíveis publicamente, 3 modelos restringem a implantação comercial. Antes de selecionar um modelo para produção, revise a tabela de licenciamento abaixo:

Principais conclusões e uso comercial:

• MIT / Apache 2.0: Estas são licenças permissivas padrão que permitem o uso comercial gratuito.
• CC-BY-NC-4.0 (Não comercial): Proíbe estritamente o uso comercial sem um acordo separado.
• NVIDIA Nemotron: Declara explicitamente: "Este modelo destina-se apenas a uso não comercial/de pesquisa."
• Jina V3: Declara explicitamente "Para consultas sobre uso comercial, entre em contato conosco" (a menos que seja usado por meio de sua API paga).

Por que modelos de grande porte podem ter um desempenho inferior no Top-5?

Embora nossa avaliação comparativa mostre claramente que modelos menores superam os maiores na recuperação dos 5 principais resultados, as causas exatas requerem investigação adicional. Formulamos diversas hipóteses sobre os seguintes fatores potenciais:

Possíveis efeitos de centralidade: Pesquisas sugerem que espaços vetoriais de alta dimensionalidade (4096 dimensões vs. 384 dimensões) podem exibir centralidade, onde certos vetores se tornam vizinhos mais próximos de muitas consultas. Isso poderia explicar por que modelos maiores com dimensões mais altas apresentam menor recall Top-5, embora não tenhamos medido diretamente a centralidade em nossos resultados.

Objetivos de treinamento diferentes: Modelos de recuperação menores podem ser otimizados especificamente para tarefas orientadas à recordação, enquanto incorporações baseadas em LLM podem priorizar a precisão. Os resultados GritLM (38% Top-1 vs 90% Top-5) sugerem possíveis diferenças na calibração da classificação, embora essa interpretação precise de validação.

Adequação ao domínio: As diferenças de desempenho podem refletir parcialmente a composição dos dados de treinamento, com alguns modelos mais adequados à busca de produtos do que outros.

O que é um modelo de incorporação de código aberto?

Um modelo de incorporação de código aberto é um modelo de IA disponível publicamente que converte texto em vetores numéricos que pessoas e sistemas podem comparar, agrupar e pesquisar semanticamente. Ao contrário de APIs fechadas, você pode executá-lo em sua própria infraestrutura, inspecioná-lo ou ajustá-lo e adaptá-lo ao seu domínio.

Eles são importantes porque te dão:

• Propriedade total dos dados , o que significa que não há vazamento de consultas para APIs de terceiros.
• Custo zero ou reduzido a longo prazo em grande escala
• Ajuste fino personalizado para precisão de domínio (medicina, finanças, busca de produtos, etc.).
• Implantação offline ou local para ambientes com restrições de segurança.
• Liberdade para otimizar em função de latência, tamanho ou precisão.

casos de uso de modelos de incorporação

Os modelos de incorporação permitem a criação de representações vetoriais de texto ou outros dados, que são então posicionadas em um espaço vetorial. A proximidade dessas representações vetoriais individuais nesse espaço denota significado semântico e similaridade, tornando a geração de incorporações crucial para inúmeras aplicações de IA, tais como:

Busca semântica

A busca semântica utiliza modelos de incorporação (incluindo modelos especializados de incorporação de texto) para encontrar conteúdo ou resultados relevantes com base no significado conceitual, em vez da correspondência de palavras-chave.

A codificação de conteúdo em um repositório vetorial fortalece os mecanismos de busca, pois oferece uma precisão de busca significativamente melhor do que os métodos tradicionais, nos quais a similaridade é frequentemente medida pela similaridade de cosseno.

Exemplos reais de modelos de incorporação de código aberto em busca semântica

Pesquisa de conhecimento empresarial

Empresas globais que utilizam os modelos de incorporação de código aberto de Jina AI (por exemplo, jina-embeddings-v2) implementam a busca semântica para potencializar a correspondência de habilidades de RH, a conciliação financeira e a recuperação de conhecimento interno.

O suporte a 8 mil tokens e o design multilíngue do modelo permitem buscas corporativas de alta cobertura sem dependência de API, melhorando a profundidade da recuperação e mantendo a inferência local. ¹

Exemplos da vida real para modelos de incorporação de código fechado em busca semântica

Consultas de clientes traduzidas

A Zendesk utiliza modelos de incorporação (bi-encoders) para traduzir as consultas dos clientes e os artigos de ajuda em vetores. A classificação final é um sistema híbrido que combina correspondência de palavras-chave (BM25) e proximidade vetorial (similaridade de cosseno) para relevância.

A Zendesk relata que a implementação da busca semântica resultou em um aumento médio de 7% na classificação recíproca média (MRR) para centrais de ajuda em inglês. Essa métrica demonstra diretamente que os clientes encontraram a resposta correta significativamente mais rápido, levando a um aumento no sucesso do autoatendimento. ²

Recomendações personalizadas

A Netflix utiliza aprendizado profundo para gerar representações vetoriais (embeddings) de conteúdo e usuários. Esses vetores capturam preferências de visualização sutis e características do conteúdo para classificação e recomendação personalizadas.

Atribui-se à empresa, em sua totalidade, uma economia de mais de US$ 1 bilhão por ano, graças ao aumento da fidelização de clientes. ³

Recuperação de informação (RI)

A geração de embeddings é fundamental para a Recuperação de Informação (RI) em grandes bases de dados. Uma aplicação notável é a geração aumentada de recuperação (RAG), onde os dados recuperados do repositório vetorial usando o modelo de embeddings ajudam os Grandes Modelos de Linguagem (LLMs) a gerar conteúdo em tempo real mais preciso e atualizado. Isso melhora a precisão da recuperação e a qualidade geral do conteúdo.

Exemplo prático de modelos de incorporação de código aberto em IR (Recuperação Inteira)

Inteligência de chamadas

A AT&T processa 40 milhões de chamadas de suporte ao cliente anualmente, usando IA para categorizar cada chamada em uma das 80 categorias de serviço, a fim de detectar sinais de rotatividade e possibilitar a retenção proativa.

Após inicialmente utilizar o modelo GPT-4 para classificação de chamadas, a AT&T o substituiu por um pipeline híbrido de código aberto que combina modelos GPT-4 refinados, o modelo Danube da H2O.ai e o modelo Meta Llama 70B para casos complexos, reduzindo drasticamente os custos e mantendo a precisão em produção. O sistema de código aberto alcançou:

• 35% do custo operacional anterior de GPT-4
• Precisão relativa de 91% em comparação com GPT-4
• Tempo de processamento de 15 a 5 horas por dia.
• Aproximadamente 50.000 clientes retidos anualmente graças à melhoria na detecção de cancelamentos. ⁴

Exemplo prático de modelos de incorporação de código fechado em IR (Recuperação Inteira)

chatbot RAG

A DoorDash implementou um chatbot baseado em RAG (Radio Access Group) para automatizar o suporte aos seus entregadores. O sistema utiliza um modelo de incorporação otimizado em seu repositório vetorial para alcançar alta precisão na recuperação de artigos da base de conhecimento, o que é fundamental para fundamentar as recomendações automatizadas do LLM (Learning Learning Management).

A implementação do sistema RAG, combinada com seu rigoroso monitoramento de qualidade, reduziu com sucesso as alucinações induzidas por LLM em 90% e os problemas graves de adesão ao tratamento em 99%. ⁵

Agrupamento e classificação

Os modelos de incorporação podem simplificar a classificação e organização de conteúdo, agrupando representações de texto ou outras representações de dados no espaço vetorial. Isso é essencial para diversas tarefas subsequentes, como agrupar feedback de clientes por sentimento ou categorizar documentos por tópico.

Exemplo prático de modelos de incorporação de código aberto em agrupamento e classificação.

Agrupamento e classificação de bilhetes com base em IA

A Volcano Engine da ByteDance implementou em produção um sistema de escalonamento e roteamento baseado em IA que agrupa, remove duplicatas e classifica chamados de suporte em larga escala, utilizando similaridade semântica e modelos de lógica de cliente (LLMs) internos (DouBao). O sistema analisa as conversas de suporte para agrupar automaticamente problemas recorrentes, atribuir categorias e encaminhar os chamados aos responsáveis pela resolução, sem a necessidade de marcação manual.

A implementação foi validada em mais de 20.000 chamados de suporte reais, que puderam:

• Processar centenas de novos bilhetes por dia
• Redução da carga de trabalho operacional em aproximadamente 10 dias-homem economizados diariamente.
• Aplique limiares de similaridade semântica de 0,86 a 0,95 para a desduplicação e o agrupamento de tickets. ⁶

Exemplo prático de modelos de incorporação de código fechado em agrupamento e classificação.

Classificação de bilhetes orientada por IA

A Gelato, uma plataforma de comércio eletrônico, usou modelos de incorporação construídos com base na IA Vertex da Google para automatizar a triagem e a atribuição de chamados de engenharia e erros de clientes recebidos.

O modelo de incorporação converte a descrição textual do problema em um vetor. Esse vetor é então classificado por um modelo de aprendizado de máquina na categoria técnica correta (por exemplo, “Erro de login”, “Falha no pagamento”, “Bug na API”). Dessa forma, a Gelato aumentou a precisão na atribuição de tickets de 60% para 90%. ⁷

Sistemas de recomendação

Os modelos de incorporação auxiliam esses sistemas ao compreender as preferências do usuário com base no significado semântico de seus interesses e no conteúdo disponível. Ao medir a similaridade entre as incorporações de usuários e itens, os sistemas de recomendação podem fornecer sugestões mais personalizadas.

Exemplo prático de incorporação de modelos em sistemas de recomendação

Recomendações dinâmicas via CoSeRNN

O Spotify utiliza modelos de incorporação para criar representações vetoriais de músicas, artistas e usuários. Um avanço fundamental em seu mecanismo de recomendação é a implementação da arquitetura CoSeRNN (Rede Neural Recorrente Contextual e Sequencial). Esse sistema vai além dos perfis estáticos de usuários para abordar a natureza dinâmica da audição musical.

O sistema CoSeRNN modela as preferências do usuário como uma sequência de representações vetoriais dependentes do contexto. Essas representações são influenciadas por fatores como a hora do dia, o dispositivo utilizado e as faixas reproduzidas recentemente. Isso ajuda o modelo a aprender a prever um vetor de preferências que maximize a similaridade com outras faixas reproduzidas na sessão de audição atual, permitindo uma personalização altamente precisa e instantânea.

A abordagem CoSeRNN, que se baseia na geração de embeddings sequenciais de alta qualidade do usuário, apresentou desempenho significativamente melhor do que as abordagens concorrentes, demonstrando ganhos superiores a 10% em todas as métricas de classificação consideradas, tanto para tarefas de recomendação de sessão quanto de faixa. Essa melhoria está diretamente relacionada à satisfação do usuário e reduz a taxa de rejeição, pois confirma que os usuários estão ouvindo mais daquilo que realmente desejam naquele contexto específico. ⁸

Resumo dos estudos de caso do modelo de incorporação:

Perguntas frequentes

Links de referência

1.

Building AI With MongoDB: Putting Jina AI’s Breakthrough Open Source Embedding Model To Work | MongoDB

MongoDB

2.

About semantic search and how it works – Zendesk help

Zendesk

3.

[CASE STUDY] Netflix's AI Personalization Strategy Saves $1 Billion Yearly in Customer Retention

Head of AI

4.

Inside AT&T's Open-Source AI Approach to Customer Service Calls - Business Insider

Business Insider

5.

Doordash: Building a High-Quality RAG-based Support System with LLM Guardrails and Quality Monitoring - ZenML LLMOps Database

6.

\name: Leveraging Large Language Models for Automated Ticket Escalation

7.

Real-world gen AI use cases from the world's leading organizations | Google Cloud Blog

Google Cloud

8.

http://rishabhmehrotra.com/papers/recsys2020-context.pdf

Ekrem Sarı

Pesquisador de IA

Siga-nos

Ekrem é pesquisador de IA na AIMultiple, com foco em automação inteligente, GPUs, agentes de IA e frameworks RAG.

Ver perfil completo

Seja o primeiro a comentar

Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios.

Nome

Endereço de email

Comentário

0/450

Postar comentário