Sistemas de recomendação: aplicações e exemplos

Os sistemas de recomendação beneficiam tanto empresas quanto clientes, utilizando dados para personalizar experiências. Eles ajudam a impulsionar as vendas, aumentar a fidelização de clientes e reduzir a taxa de abandono, simplificando as escolhas e mantendo os usuários engajados.

Avaliamos o desempenho de três bibliotecas de recomendação em Python: LightFM, Cornac BPR e TensorFlow Recommenders, usando o mesmo conjunto de dados de feedback implícito e etapas de pré-processamento idênticas.

Treinamos cada modelo com os mesmos dados, avaliamos seus resultados usando AUC, Precision@10 e Recall@10 e comparamos sua capacidade de classificar e recuperar itens relevantes nas k principais recomendações.

Melhores bibliotecas Python para sistemas de recomendação

Essas bibliotecas implementam algoritmos de aprendizado de máquina para processar dados de treinamento e gerar recomendações personalizadas usando técnicas de filtragem colaborativa ou baseada em conteúdo. Além disso, essas bibliotecas implementam modelos de aprendizado de máquina para analisar dados e descobrir padrões, permitindo que o mecanismo de recomendação sugira itens relevantes com base no comportamento e nas preferências do usuário.

Resultados do benchmark LightFM vs Cornac BPR vs TensorFlow

Recomendadores do TensorFlow O BPR apresentou o melhor desempenho. Sua arquitetura de aprendizado profundo permite capturar relações usuário-item mais complexas. O LightFM, que tem bom desempenho quando os metadados estão disponíveis, não teve um desempenho tão forte aqui porque usamos apenas dados comportamentais; ainda assim, superou o BPR. O Cornac BPR teve a menor qualidade de recomendação, tornando-o mais adequado para experimentos rápidos ou aplicações de pequena escala.

Utilizamos nossa metodologia de avaliação comparativa de mecanismos de recomendação para testar o LightFM, o Cornac BPR e o TensorFlow.

O que é um sistema de recomendação?

Um sistema de recomendação (ou sistema de recomendação) é uma ferramenta projetada para fornecer sugestões personalizadas aos usuários com base em suas preferências, comportamento e interações com uma plataforma. Esses sistemas analisam dados como histórico de compras, histórico de navegação, dados demográficos do usuário e informações contextuais para fornecer conteúdo relevante. Abaixo estão os tipos mais comuns de sistemas de recomendação:

Técnicas de filtragem colaborativa:

• Com base em padrões de interação entre usuários e itens.
• Inclui filtragem colaborativa baseada no usuário (encontrar usuários semelhantes) e filtragem colaborativa baseada no item (encontrar itens semelhantes).
• Ideal para comércio eletrônico e serviços de streaming.

Técnicas de filtragem baseadas em conteúdo:

• Concentra-se nos atributos dos itens (características dos itens) e nas interações anteriores do usuário (preferências do usuário).
• Ideal para identificar os interesses específicos do usuário-alvo.

Sistemas de recomendação híbridos:

• Combine filtragem colaborativa e métodos baseados em conteúdo.
• Utiliza modelos de aprendizado de máquina, como redes neurais profundas e redes neurais recorrentes, para previsões aprimoradas.

Conceitos-chave de sistemas de recomendação

Noções básicas de fatoração de matrizes

A fatoração de matrizes é uma técnica fundamental na filtragem colaborativa. Ela decompõe uma grande matriz de interação usuário-item (por exemplo, avaliações ou cliques) em matrizes menores que capturam padrões ou relações ocultas, chamadas de características latentes.

Essa abordagem ajuda a reduzir a complexidade dos dados e a revelar informações relevantes, como a preferência de um usuário por gêneros específicos ou o apelo de um item para um determinado grupo.

Compreendendo dados implícitos

Dados implícitos referem-se a indicadores indiretos das preferências do usuário, obtidos a partir de comportamentos em vez de feedback explícito, como avaliações por estrelas. Alguns exemplos de dados implícitos incluem taxas de cliques, tempo gasto em uma página, histórico de compras e padrões de pesquisa.

Esse tipo de dado é mais fácil de coletar em larga escala e geralmente reflete o engajamento no mundo real. No entanto, pode ser ruidoso ou ambíguo, como, por exemplo, interpretar se uma longa visita à página indica interesse ou distração.

Aprendizado profundo em recomendações

O aprendizado profundo auxilia os sistemas de recomendação ao analisar dados complexos e multidimensionais usando redes neurais. É particularmente eficaz para recomendações baseadas em sessões, compreensão de conteúdo e sugestões contextuais que consideram o tempo, a localização ou o humor do usuário.

Esses métodos conseguem processar grandes volumes de dados não estruturados, como texto, imagens e vídeos, aprendendo relações complexas entre as características.

abordagens de recomendação híbridas

Sistemas de recomendação híbridos combinam diferentes técnicas, como filtragem colaborativa, filtragem baseada em conteúdo e abordagens baseadas em conhecimento. Essa integração melhora a precisão e resolve desafios como o problema do início a frio (novos usuários ou itens) e dados esparsos.

Tutorial: criando um sistema de recomendação com LightFM

Neste tutorial, construiremos um mecanismo de recomendação usando o LightFM, aproveitando dados implícitos das interações entre usuários e produtos. Esses dados de treinamento, incluindo vários tipos de dados de clientes, ajudam o modelo a aprender as preferências do usuário e a fazer previsões precisas.

O modelo LightFM que desenvolvemos prevê quais produtos um usuário provavelmente visualizará, estimando suas potenciais interações com itens ainda não vistos. O modelo analisa dados para fazer essas previsões precisas, garantindo que as recomendações sejam personalizadas de acordo com o comportamento do usuário.

Pré-requisitos

Antes de começar, certifique-se de ter as bibliotecas necessárias instaladas. Caso não as tenha, você pode instalá-las via pip:

Para sistemas de recomendação mais avançados, podem ser necessárias também bibliotecas de processamento de linguagem natural.

Visão geral do conjunto de dados

Neste tutorial, usaremos um conjunto de dados de comércio eletrônico de varejo, que contém informações sobre as interações dos usuários com os produtos. O conjunto de dados inclui as seguintes colunas:

• visitorid: Um identificador único para o visitante (usuário).
• itemid: Um identificador único para o item (produto).
• Evento: O evento de interação; neste caso, estamos interessados apenas em eventos de 'visualização'.

O conjunto de dados também pode conter dados não estruturados que precisam ser processados.

Um exemplo de entrada no conjunto de dados seria assim:

Para simplificar, vamos filtrar apenas os eventos de "visualização" em que os usuários interagiram com os produtos. Em seguida, usaremos essas informações para construir o modelo de recomendação.

Guia passo a passo do sistema de recomendação

1. Carregar e preparar os dados

Primeiro, precisamos carregar o conjunto de dados e pré-processá-lo para o treinamento. As colunas principais que precisamos são visitorid, itemid e event. Também filtraremos os eventos de 'visualização' e converteremos as variáveis categóricas (visitorid e itemid) em códigos numéricos para otimizar o uso da memória.

Carregar o conjunto de dados:

Filtrar apenas eventos de 'visualização':

Converter visitorid e itemid em tipo de categoria para economizar memória:

2. Crie a matriz usuário-item

Em seguida, converteremos as colunas visitorid e itemid em representações numéricas e construiremos uma matriz esparsa que servirá como entrada para o modelo LightFM. Usaremos o scipy para criar uma matriz esparsa, que é eficiente em termos de memória para grandes conjuntos de dados.

Converter visitorid e itemid em códigos numéricos:

Defina as dimensões da matriz:

4. Divida os dados em conjuntos de treinamento e teste.

Agora vamos dividir os dados amostrados em conjuntos de treinamento e teste usando a função `train_test_split` do scikit-learn. Isso nos permitirá avaliar o desempenho do modelo de recomendação em dados não vistos anteriormente.

Divida os dados em conjuntos de treinamento e teste.

Converter os dados de treino e de teste para formato esparso:

5. Treine o modelo LightFM

Agora que preparamos os dados, podemos treinar o modelo LightFM. Usaremos a função de perda WARP (Weighted Approximate-Rank Pairwise), que é eficaz para tarefas de recomendação.

Inicialize o modelo LightFM com a função de perda WARP:

Comece a treinar o modelo:

Imprima o horário do treinamento:

6. Avalie o modelo

Após o treinamento do modelo, podemos avaliar seu desempenho usando métricas como AUC (Área Sob a Curva), Precisão@10 e Revocação@10. Essas métricas nos fornecem informações sobre o desempenho do modelo.

Calcule a AUC nos dados do teste:

Calcule a Precisão@10 e a Revocação@10:

Neste tutorial, criamos um sistema de recomendação simples usando a biblioteca LightFM. Passamos pelo processo de carregamento do conjunto de dados, pré-processamento dos dados, treinamento de um modelo de recomendação e avaliação de seu desempenho. O modelo pode ser ainda mais ajustado e otimizado com base nas necessidades específicas da sua aplicação.

Áreas de aplicação para sistemas de recomendação

Quase qualquer empresa pode se beneficiar de um sistema de recomendação. Existem dois aspectos importantes que determinam o nível de benefício que uma empresa pode obter com essa tecnologia.

• A abrangência dos dados: Uma empresa que atende apenas um pequeno grupo de clientes com comportamentos distintos não se beneficiará muito de um sistema automatizado de recomendação. Os humanos ainda são muito superiores às máquinas na área de aprendizado a partir de poucos exemplos. Nesses casos, seus funcionários usarão sua lógica e sua compreensão qualitativa e quantitativa dos clientes para fazer recomendações precisas.
• A profundidade dos dados : Ter apenas um ponto de dados sobre cada cliente também não é útil para sistemas de recomendação. Dados detalhados sobre as atividades online dos clientes e, se possível, sobre as compras offline, podem orientar recomendações mais precisas.

Aqui estão alguns dos setores mais comuns onde os sistemas de recomendação são aplicados:

comércio eletrônico

As plataformas de comércio eletrônico utilizam sistemas de recomendação para aprimorar a experiência de compra, sugerindo produtos relevantes aos usuários.

Esses sistemas analisam compras anteriores, histórico de navegação e preferências para recomendar itens como "Clientes que compraram este produto também compraram" ou "Frequentemente comprados juntos".

Esse processo melhora as vendas, aumenta o valor médio dos pedidos e também melhora a satisfação do cliente, economizando tempo e esforço dos usuários.

Exemplo da vida real: Amazon

A Amazon.com utiliza recomendações de filtragem colaborativa item a item na maioria das páginas de seu site e em suas campanhas de e-mail. De acordo com a McKinsey, 35% das compras na Amazon são realizadas graças a sistemas de recomendação. ¹

Entretenimento

Na indústria do entretenimento, os sistemas de recomendação ajudam os usuários a descobrir filmes, músicas, programas de TV ou livros adequados aos seus gostos. Ao analisar os hábitos de visualização ou audição, esses sistemas podem fornecer conteúdo personalizado para aumentar o engajamento do usuário e o tempo gasto na plataforma.

Exemplo da vida real: Netflix

A Netflix utiliza uma combinação de filtragem colaborativa e filtragem baseada em conteúdo para sugerir séries e filmes, resultando em 80% do conteúdo assistido sendo influenciado por recomendações.

O Prêmio Netflix foi uma competição lançada pela Netflix em outubro de 2006 para aprimorar seu sistema de recomendação de filmes. O desafio oferecia um prêmio de US$ 1 milhão para a equipe ou indivíduo que conseguisse uma melhoria de pelo menos 10% na precisão das previsões em comparação com o algoritmo de recomendação existente da Netflix. ²

Exemplo da vida real: Spotify

Toda semana, o Spotify gera uma nova playlist personalizada para cada assinante, chamada "Discover Weekly", que é uma lista personalizada de 30 músicas com base nos gostos musicais únicos de cada usuário. A aquisição da Echo Nest, uma startup de inteligência musical e análise de dados, permitiu que a empresa criasse um mecanismo de recomendação musical que utiliza três tipos diferentes de modelos de recomendação: ³

• Filtragem colaborativa: Filtrar músicas comparando o histórico de audição dos usuários com o histórico de audição de outros usuários.
• Processamento de linguagem natural: Busca-se na internet informações sobre artistas e músicas específicas. A cada artista ou música é atribuída uma lista dinâmica de termos principais, que muda diariamente e é ponderada por relevância. O mecanismo então determina se duas músicas ou artistas são semelhantes.
• Análise de arquivos de áudio: O algoritmo analisa as características de cada arquivo de áudio individualmente, incluindo andamento, volume, tonalidade e compasso, e faz recomendações de acordo com as informações recebidas.

mídias sociais

As plataformas de redes sociais utilizam sistemas de recomendação para sugerir amigos, grupos, páginas, publicações ou anúncios com base nas interações, preferências e conexões dos usuários. Essas sugestões aprimoram a interação do usuário, incentivam a descoberta de conteúdo e geram receita publicitária.

Exemplo da vida real: Meta

A Meta utiliza sistemas de IA para fornecer recomendações de conteúdo personalizadas no Facebook e Instagram, mesmo de fontes que os usuários não seguem. Essa abordagem aprimora a experiência do usuário ao apresentar conteúdo diversificado e auxilia os criadores a alcançarem públicos mais amplos. O processo de recomendação envolve:

• Compreensão de conteúdo: Utilização de modelos de IA para analisar e interpretar diversos tipos de conteúdo, incluindo imagens, texto, áudio e vídeo, a fim de compreender seus significados semânticos.
• Compreensão, recuperação e classificação de preferências: Desenvolvimento de sistemas que filtrem facilmente grandes quantidades de conteúdo para identificar e classificar aqueles mais relevantes para os interesses individuais do usuário.

Essa estratégia orientada por IA permite que a Meta apresente aos usuários conteúdo envolvente além de sua rede imediata, para fomentar uma exploração mais profunda de interesses e aprimorar o engajamento geral na plataforma. ⁴

Assistência médica

Sistemas de recomendação na área da saúde sugerem opções de tratamento, recursos de saúde ou medidas preventivas personalizadas com base em dados do paciente, como histórico médico e estilo de vida. A incorporação de IA na área da saúde melhora a qualidade do atendimento e reduz os custos. Confira IA generativa na área da saúde para saber mais.

Exemplo da vida real: Ada Healthcare

A Ada Health é uma plataforma com inteligência artificial projetada para auxiliar os usuários no gerenciamento de sua saúde, fornecendo orientações médicas personalizadas. Os usuários podem inserir seus sintomas para receber avaliações que sugerem possíveis condições e recomendam os próximos passos adequados. O sistema de IA da plataforma é continuamente otimizado por uma equipe de especialistas médicos para garantir precisão e confiabilidade.

Além de atender usuários individuais, a Ada oferece soluções corporativas voltadas para a melhoria dos resultados na área da saúde. Essas soluções auxiliam os parceiros a embasar decisões de saúde, aprimorar os processos de triagem e reduzir custos desnecessários. ⁵

Varejo

No varejo, os sistemas de recomendação são usados para experiências de compra personalizadas, recomendações dentro da loja e sugestões de estoque. Esses sistemas ajudam os varejistas a otimizar a gestão de estoque, melhorar as vendas e aumentar a satisfação do cliente.

Exemplo da vida real: Rappi com o Amazon Personalize

A Rappi, um serviço de entrega sob demanda na América Latina, colaborou com a Amazon Personalize para aprimorar o engajamento do cliente e impulsionar as vendas, implementando um sistema de recomendação personalizado em seu aplicativo.

Aproveitando o Amazon Personalize, a Rappi desenvolveu um recurso chamado "Só para Você" (JFY, na sigla em inglês), que analisa o comportamento e as preferências do usuário para fornecer recomendações de produtos personalizadas, exibidas em uma seção dedicada do aplicativo.

Essa estratégia de personalização resultou em um aumento de 102% nas taxas de cliques e um aumento de 147% na receita proveniente de recomendações personalizadas. Além disso, o engajamento do cliente melhorou e a ocorrência de produtos com baixo desempenho diminuiu. ⁶

Finanças e serviços bancários

Instituições financeiras utilizam sistemas de recomendação para sugerir opções de investimento, cartões de crédito ou produtos de seguro com base no comportamento e nos objetivos financeiros do usuário. Confira os casos de uso da IA generativa no setor bancário para saber mais sobre como ela pode ser aplicada em finanças e bancos.

Jogos

As plataformas de jogos utilizam sistemas de recomendação para sugerir compras dentro dos jogos, novos jogos ou conectar jogadores com base em suas preferências, hábitos de jogo e interações sociais. Isso aprimora a experiência de jogo e gera receita.

Exemplo da vida real: Glance com Google Cloud

A Glance, uma subsidiária da InMobi, fez uma parceria com a Cloud para criar um sistema personalizado de recomendação de jogos para sua plataforma de jogos para dispositivos móveis, Nostra, que atinge mais de 220 milhões de usuários por meio de telas de bloqueio.

Ao analisar dados de usuários e jogos juntamente com dados de interação, eles identificaram padrões como tempos ideais de engajamento e preferências de jogo. Essa colaboração melhorou significativamente o engajamento do usuário. ⁷

Essas áreas são particularmente adequadas para sistemas de recomendação, pois envolvem setores que geram grandes volumes de dados de usuários e itens, proporcionando uma base sólida para previsões e análises precisas.

Os usuários nesses setores esperam cada vez mais experiências personalizadas e adaptadas às suas preferências, o que torna as recomendações um recurso essencial para atender às demandas dos clientes.

Além disso, os sistemas de recomendação abrem oportunidades significativas de receita, impulsionando o aumento das vendas, as vendas cruzadas e taxas de engajamento mais elevadas. Ao oferecer sugestões personalizadas, esses sistemas melhoram a retenção de clientes, fomentando a fidelização a longo prazo e a interação contínua do usuário.

Sistemas de recomendação baseados em LLM

Os sistemas de recomendação tradicionais analisam dados estruturados, como avaliações e cliques. Os sistemas baseados em LLM vão além, compreendendo consultas em linguagem natural, interpretando preferências sutis e explicando suas sugestões.

Essa abordagem traz diversas vantagens em relação aos métodos tradicionais:

• Compreensão semântica de consultas complexas como "algo inspirador, mas não muito piegas", além da correspondência de palavras-chave.
• Soluções de inicialização a frio em que novos usuários descrevem suas preferências em linguagem natural, dispensando a necessidade de histórico de interações.
• Resultados explicáveis que articulam o motivo da recomendação.
• Raciocínio interdomínios entre categorias por meio da compreensão de preferências subjacentes.

Exemplos do mundo real:

• A Netflix desenvolveu um modelo fundamental para recomendações personalizadas, tratando o histórico de interação do usuário como tokens e aplicando arquiteturas baseadas em transformadores.
• O DJ de IA do Spotify combina o histórico de audição com IA generativa para criar comentários e seleções musicais personalizadas.
• Amazon Rufus é um assistente de compras com inteligência artificial generativa que permite a descoberta de produtos em linguagem natural.

Configurando um sistema de recomendação

Embora a maioria das empresas se beneficie da adoção de uma solução existente, empresas em nichos de mercado ou de grande porte podem experimentar construir seu próprio mecanismo de recomendação.

1. Utilizando uma solução pronta para uso

Os sistemas de recomendação são um dos casos de uso de IA mais antigos e mais consolidados.

As vantagens dessa abordagem incluem implementação rápida e resultados altamente precisos na maioria dos casos:

• Incluir um trecho de código do fornecedor pode ser suficiente para começar.
• As soluções tendem a ser precisas, uma vez que os fornecedores utilizam dados de milhares de transações de seus clientes de forma anonimizada para aprimorar seus modelos.

Para escolher o sistema certo, você pode usar dados históricos ou, melhor ainda, dados em tempo real para testar rapidamente a eficácia de diferentes sistemas.

2. Construindo sua própria solução

Isso pode fazer sentido se:

• Você está em um nicho de mercado onde os mecanismos de recomendação não eram usados antes, ou
• Você é dono de um dos maiores marketplaces do mundo, onde recomendações ligeiramente melhores podem fazer uma diferença importante nos resultados do seu negócio.

Os sistemas de recomendação disponíveis atualmente no mercado utilizam uma lógica como: clientes com históricos de compra e navegação semelhantes comprarão produtos semelhantes no futuro. Para que um sistema desse tipo funcione, é necessário um grande número de transações históricas ou dados detalhados sobre o comportamento do usuário em outros sites. Caso precise desses dados, você pode buscá-los em mercados de dados .

Mais dados e algoritmos melhores aprimoram as recomendações. Você precisa utilizar todos os dados relevantes da sua empresa e pode expandir seu banco de dados de clientes com informações de terceiros. Se um cliente frequente está procurando tênis vermelhos em outros sites, por que você não mostraria um ótimo par quando ele visitasse seu site?

3. Trabalhar com um consultor para construir suas próprias soluções

Um mecanismo de recomendação ligeiramente melhor pode impulsionar as vendas de uma empresa em alguns pontos percentuais, o que poderia representar uma mudança drástica na lucratividade de uma empresa com margens de lucro baixas. Portanto, pode fazer sentido investir no desenvolvimento de mecanismos de recomendação melhores se a empresa não estiver obtendo resultados satisfatórios com as soluções existentes no mercado .

4. Organizar uma competição de ciência de dados para criar sua própria solução.

Uma possível abordagem é usar a sabedoria coletiva para construir esses sistemas. As empresas podem usar dados históricos criptografados, lançar competições de ciência de dados ou trabalhar com consultores e obter modelos que forneçam recomendações altamente eficazes.

Como escolher um sistema de recomendação?

A escolha do sistema de recomendação adequado depende dos seus objetivos de negócio, dos dados disponíveis e dos recursos técnicos à sua disposição. Aqui estão algumas considerações importantes:

1. Avaliação do modelo em seus dados
   • É essencial testar os modelos em seu próprio conjunto de dados para verificar seu desempenho no seu contexto específico. Benchmarks prontos para uso podem não refletir seus usuários, itens ou objetivos de negócios.
2. Tipo de dados disponíveis
   • Dados explícitos (classificações, avaliações, curtidas) funcionam bem com filtragem colaborativa.
   • Dados implícitos (cliques, tempo gasto, compras) favorecem abordagens híbridas ou de aprendizado profundo.
3. Objetivos de negócios
   • Se o seu objetivo é a personalização em larga escala , o aprendizado profundo ou os sistemas híbridos são as melhores opções.
   • Para experimentos rápidos , modelos mais simples, como a fatoração de matrizes, podem ser suficientes.
4. Requisitos de escalabilidade
   • Plataformas de grande escala (por exemplo, comércio eletrônico, streaming) geralmente exigem soluções baseadas em aprendizado profundo ou hospedadas na nuvem que possam lidar com milhões de usuários e itens.
5. Conhecimento e recursos do domínio
   • Se sua equipe não possui experiência em aprendizado de máquina, utilizar soluções de fornecedores (por exemplo, Amazon Personalize, Google Recommendations AI) pode acelerar a implementação.
   • Para domínios altamente especializados, pode ser necessário desenvolver uma solução interna.

Dica: Comece criando protótipos com bibliotecas prontas para uso (LightFM, TensorFlow Recommenders) e avalie o desempenho com seus dados reais antes de expandir.

Custo de implementação de sistemas de recomendação

A implementação de um sistema de recomendação envolve custos diretos e indiretos:

1. Tempo de desenvolvimento : A criação de modelos personalizados exige cientistas de dados, engenheiros e equipes de infraestrutura. O desenvolvimento pode variar de algumas semanas (para protótipos) a vários meses (para sistemas de produção).
2. Custos de infraestrutura : 21833
   • Instalação local : Requer servidores com GPU, bancos de dados e manutenção contínua.
   • Baseado em nuvem : os custos aumentam com o tamanho dos dados e o uso da API (AWS, GCP, Azure).
3. Taxas do fornecedor : As soluções baseadas em SaaS podem cobrar com base no número de chamadas de API, no número de usuários ou na quantidade de dados processados.
4. Custos correntes :
   • Retreinamento, monitoramento e atualizações do modelo.
   • Custos potenciais da integração de fontes de dados externas para melhorar as recomendações.

Regra geral: pequenas empresas podem começar com ferramentas SaaS (menos de US$ 10 mil por ano), enquanto empresas que desenvolvem sistemas internos geralmente investem milhões em infraestrutura e talentos.

Implicações éticas dos sistemas de recomendação

Embora os sistemas de recomendação ofereçam valor, eles levantam importantes considerações éticas e sociais:

• Viés e imparcialidade : os algoritmos podem reforçar vieses existentes (por exemplo, recomendando apenas conteúdo popular, ignorando a diversidade).
• Questões de privacidade :
  • A coleta e análise de dados do usuário levanta preocupações sobre consentimento e proteção de dados.
  • A conformidade com o GDPR, CCPA e outras leis de privacidade de dados é crucial.
• Uso responsável de dados :
  • Políticas transparentes devem explicar como os dados do usuário são coletados, processados e armazenados.
  • Técnicas de privacidade diferencial e anonimização podem mitigar riscos.

Metodologia de avaliação comparativa de mecanismos de recomendação

Neste estudo, focamos na construção e avaliação de sistemas de recomendação baseados em dados de feedback implícito, especificamente nas interações dos usuários com os produtos. O conjunto de dados utilizado em nossa análise contém três elementos-chave: visitorid, itemid e tipos de interação, como visualizar , adicionar ao carrinho e transação . Como os usuários não avaliaram os itens explicitamente, mas interagiram por meio desses comportamentos, consideramos esses dados como feedback implícito .

Testamos três modelos de recomendação diferentes para avaliar sua eficácia no tratamento de dados implícitos:

1. LightFM : Um modelo híbrido que utiliza filtragem colaborativa e métodos baseados em conteúdo. Utilizamos a função de perda WARP (Weighted Approximate-Rank Pairwise) para treinar o modelo. O foco foi prever a probabilidade de um usuário visualizar um produto, analisando seu histórico de interações com itens.
2. Cornac BPR (Bayesian Personalized Ranking) : Um modelo baseado em filtragem colaborativa projetado para classificar itens com base nas interações do usuário. Ele utiliza feedback implícito para aprender as preferências dos usuários, otimizando a classificação de itens relevantes em detrimento dos irrelevantes.
3. TensorFlow Recommenders : Uma estrutura baseada em aprendizado profundo que usa embeddings para representar tanto usuários quanto itens, capturando relações complexas entre eles. O modelo é treinado em interações implícitas, com uma tarefa de recuperação para prever os itens mais relevantes para cada usuário.

Os modelos foram treinados para prever a probabilidade de um usuário interagir com um produto, com foco específico no evento de visualização como comportamento alvo. Nosso objetivo era estimar com quais produtos os usuários têm maior probabilidade de interagir, com base em seu comportamento anterior. Após o treinamento, avaliamos os modelos usando dados de teste para garantir que pudessem generalizar bem para interações não observadas.

Avaliamos o desempenho dos modelos com base em três métricas comumente usadas em sistemas de recomendação:

• AUC (Área Sob a Curva) : Uma métrica que avalia o quão bem o modelo classifica itens relevantes em posições superiores aos irrelevantes. Uma pontuação AUC mais próxima de 1 indica um melhor desempenho de classificação.
• Precisão@10 : Mede quantos dos 10 itens mais recomendados são realmente relevantes (ou seja, interagiram com o usuário). Valores mais altos indicam maior precisão nas recomendações.
• Recall@10 : mede quantos itens relevantes (das interações do usuário) aparecem entre as 10 principais recomendações. Essa métrica é crucial para entender o quão bem o modelo captura as preferências do usuário.

Ao comparar essas métricas entre os três modelos, identificamos o modelo com melhor desempenho tanto na classificação de itens relevantes quanto na recuperação precisa desses itens nas principais recomendações.

Links de referência

1.

How retailers can keep up with consumers | McKinsey

McKinsey & Company

2.

Netflix Research

3.

Discover Weekly: How Spotify is Changing the Way We Consume Music - Technology and Operations Management

4.

The AI behind unconnected content recommendations on Facebook and Instagram

5.

Health. Powered by Ada.

6.

Customer Success Stories: Case Studies, Videos, Podcasts, Innovator stories

7.

Nostra from Glance, Gaming Recommendation at Scale with Google Cloud AI | Google Cloud Blog

Google Cloud

Cem Dilmegani

Analista Principal

Siga-nos

Cem é o analista principal da AIMultiple desde 2017. A AIMultiple fornece informações para centenas de milhares de empresas (segundo o SimilarWeb), incluindo 55% das empresas da Fortune 500, todos os meses. O trabalho de Cem foi citado por importantes publicações globais, como Business Insider, Forbes e Washington Post, além de empresas globais como Deloitte e HPE, ONGs como o Fórum Econômico Mundial e organizações supranacionais como a Comissão Europeia. Você pode ver mais empresas e recursos renomados que mencionaram a AIMultiple. Ao longo de sua carreira, Cem atuou como consultor de tecnologia, comprador de tecnologia e empreendedor na área. Ele assessorou empresas em suas decisões tecnológicas na McKinsey & Company e na Altman Solon por mais de uma década. Também publicou um relatório da McKinsey sobre digitalização. Liderou a estratégia de tecnologia e a área de compras de uma empresa de telecomunicações, reportando-se diretamente ao CEO. Além disso, liderou o crescimento comercial da empresa de tecnologia avançada Hypatos, que atingiu uma receita recorrente anual de sete dígitos e uma avaliação de nove dígitos, partindo de zero, em apenas dois anos. O trabalho de Cem no Hypatos foi noticiado por importantes publicações de tecnologia, como TechCrunch e Business Insider. Cem participa regularmente como palestrante em conferências internacionais de tecnologia. Ele se formou em engenharia da computação pela Universidade Bogazici e possui um MBA pela Columbia Business School.

Ver perfil completo

Pesquisado por

Sıla Ermut

Analista do setor

Siga-nos

Sıla Ermut é analista de mercado na AIMultiple, com foco em marketing por e-mail e vídeos de vendas. Anteriormente, trabalhou como recrutadora em empresas de gestão de projetos e consultoria. Sıla possui mestrado em Psicologia Social e bacharelado em Relações Internacionais.

Ver perfil completo

Seja o primeiro a comentar

Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios.

Nome

Endereço de email

Comentário

0/450

Postar comentário