Siga os links para obter as soluções específicas para os seus desafios relacionados à produção do LLM. Se o seu LLM:
- Não tem acesso aos dados necessários na sua área? Nesse caso, você pode treinar um novo especialista em Direito (LLM) , mudar para um especialista na área ou usar o RAG para obter os dados.
- Possui informações relevantes, mas precisa responder em um estilo e tom diferentes, seguir determinados formatos de saída ou usar determinadas ferramentas; então:
- Primeiramente, utilize a engenharia de prompts ou o encadeamento de prompts para melhorar os resultados.
- Se não funcionarem, o ajuste fino do LLM é a abordagem correta. Você pode usar o serviço do seu provedor de LLM ou ajustar LLMs de código aberto localmente .
A ampla adoção de grandes modelos de linguagem (LLMs) melhorou nossa capacidade de processar a linguagem humana . No entanto, seu treinamento genérico frequentemente resulta em desempenho abaixo do ideal para tarefas específicas.
Para superar essa limitação, são empregados métodos de ajuste fino para adaptar os LLMs às necessidades específicas de diferentes áreas de aplicação.
O que é o ajuste fino do LLM?
O ajuste fino de um modelo de linguagem de grande porte modifica um modelo pré-treinado para executar tarefas específicas ou para atender a um domínio em particular de forma mais eficaz. O processo envolve treinar o modelo adicionalmente em um conjunto de dados menor e direcionado, relevante para a tarefa ou assunto desejado.
O modelo de linguagem original, de grande porte, é pré-treinado em vastas quantidades de dados textuais diversos, o que o ajuda a aprender a compreensão geral da linguagem, gramática e contexto. O ajuste fino aproveita esse conhecimento geral e refina o modelo para alcançar melhor desempenho e compreensão em um domínio específico.
Figura 2: Capacidades de um LLM após o ajuste fino. 1
Por exemplo, um modelo de linguagem de grande porte pode ser ajustado para tarefas como análise de sentimentos em avaliações de produtos, previsão de preços de ações com base em notícias financeiras ou identificação de sintomas de doenças em textos médicos.
Esse processo personaliza o comportamento do modelo, permitindo que ele gere resultados mais precisos e contextualmente relevantes para tarefas como:
- Análise de sentimentos .
- Desenvolvimento de chatbots .
- Respostas a perguntas.
Como ajustar os LLMs
1. Preparando o conjunto de dados
Como os modelos de aprendizado de máquina (LLMs) são pré-treinados em um conjunto de dados fixo, eles não estão cientes de eventos em tempo real. Para manter esses modelos atualizados e melhorar seu desempenho em tópicos específicos e em constante evolução, as empresas usam dados da web em tempo real. Esses dados são cruciais por dois motivos principais: ajudam no alinhamento de domínio e reduzem a alucinação.
1.1. Alinhamento e relevância do domínio:
A utilização de dados provenientes da internet permite que as empresas otimizem seus sistemas jurídicos com base nas informações mais atuais e relevantes para o seu setor. Por exemplo, uma empresa de tecnologia jurídica poderia usar rastreadores da web para coletar decisões judiciais recentes e artigos de blogs jurídicos.
Esses dados específicos do domínio garantem que o modelo ajustado compreenda a terminologia atualizada e o contexto da indústria, algo que muitas vezes está ausente em conjuntos de dados estáticos e disponíveis publicamente. Esse processo é fundamental para transformar um modelo pré-treinado de propósito geral em um especialista em uma área específica.
1.2. Redução das alucinações:
A alucinação ocorre quando um modelo de lógica latente (LLM) gera informações plausíveis, mas factualmente incorretas. Ao refinar um LLM com dados reais e de alta qualidade provenientes da internet, você fornece a ele uma fonte confiável de verdade.
Isso torna menos provável que o modelo invente informações durante a inferência e o ajuda a gerar respostas mais precisas e confiáveis. Esse processo garante que as saídas do modelo sejam baseadas na realidade, e não em conteúdo fabricado.
As empresas utilizam ferramentas internas de web scraping ou fornecedores terceirizados para coletar dados de sites. Esses dados de treinamento coletados são então preparados e usados para aprimorar o LLM.
Ao incorporar continuamente novos dados da web, as empresas podem garantir que seus modelos refinados permaneçam relevantes e precisos, proporcionando uma vantagem competitiva significativa.
OpenAI afirma que cada duplicação do tamanho do conjunto de dados leva a um aumento linear na qualidade do modelo. 2
2. Escolhendo um modelo base e um método de ajuste fino
A seleção do modelo base apropriado e do método de ajuste fino depende da tarefa específica e dos dados disponíveis. Existem vários fornecedores de modelos de aprendizado de máquina (LLM) para escolher, incluindo OpenAI, Alphabet e Meta, cada um com seus próprios pontos fortes e fracos. O método de ajuste fino também pode variar de acordo com a tarefa e os dados, como aprendizado por transferência, ajuste fino sequencial ou ajuste fino específico para a tarefa.
Ao escolher o modelo básico, você deve considerar:
- Se a infraestrutura técnica é adequada para a capacidade computacional necessária para o ajuste fino.
- Se o modelo se adequa à sua tarefa específica
- Tamanho de entrada e saída do modelo
- Tamanho do seu conjunto de dados
3. Ajuste fino
O ajuste fino adapta modelos de lógica latente (LLMs) pré-treinados a tarefas específicas ou necessidades organizacionais, seja por meio de serviços gerenciados oferecidos por fornecedores de modelos ou pela modificação direta de modelos de código aberto usando dados específicos da tarefa e ferramentas de MLOps.
Ajuste fino como serviço para modelos de código fechado
A maioria dos LLMs (por exemplo, OpenAI's GPT-5 , Google Gemini) oferece serviços de ajuste fino. 3 Anthropic fez parceria com a Amazon Bedrock para ajustes finos. 4
Por exemplo, a Vertex AI suporta múltiplas abordagens de ajuste de modelos, permitindo aos desenvolvedores flexibilidade na personalização do comportamento do modelo, além do ajuste fino básico:
- Ajuste fino supervisionado: Treine um modelo com exemplos rotulados para que ele aprenda a produzir os resultados desejados para tarefas específicas.
- Ajuste de preferências: Uma abordagem de ajuste distinta que se baseia no ajuste fino supervisionado, utilizando dados de preferências humanas para ensinar os modelos a gerar saídas mais desejáveis com base no feedback entre pares, em vez de rótulos explícitos.
- Ajuste de pontos de verificação e ajuste contínuo: ferramentas para salvar o progresso ou estender um modelo ajustado existente com mais dados ou ciclos de treinamento. 5
O preço do ajuste fino depende do modelo e dos tokens utilizados. Geralmente, os preços são de alguns dólares por milhão de tokens para o nível padrão de ajuste fino (ou seja, 4 épocas). 6
Ajustando modelos de código aberto
Como os pesos do modelo estão disponíveis em modelos de código aberto, as empresas podem ajustar esses modelos localmente sem expor seus conjuntos de dados aos provedores de LLM.
Etapas para aprimorar modelos de código aberto incluem:
- Carregando o modelo pré-treinado: Depois de selecionar o método LLM e o método de ajuste fino, o modelo pré-treinado precisa ser carregado na memória.
- Esta etapa inicializa os pesos do modelo com base nos valores pré-treinados, o que acelera o processo de ajuste fino e garante que o modelo já tenha aprendido a compreensão geral da linguagem.
- O ajuste fino envolve o treinamento do LLM pré-treinado no conjunto de dados específico da tarefa. O processo de treinamento consiste em otimizar os pesos e parâmetros do modelo para minimizar a função de perda e melhorar seu desempenho na tarefa.
O processo de ajuste fino normalmente envolve rodadas iterativas de treinamento. Para otimizar o desempenho, os desenvolvedores devem ajustar configurações como taxa de aprendizado ou tamanho do lote. Ferramentas como Weights & Biases (Sweeps) automatizam essa busca de hiperparâmetros, visualizando como diferentes variáveis impactam a convergência do modelo, para que as equipes possam selecionar a melhor configuração sem tentativas e erros manuais.
Por exemplo, os modelos de lhama podem ser ajustados de forma econômica com abordagens de Ajuste Fino Eficiente de Parâmetros (PEFT). 7
As empresas podem aproveitar suas plataformas MLOps ou LLMOps para otimizar seus modelos.
Por exemplo, usar uma plataforma que funcione como um sistema de registro (como o Weights & Biases) permite que as empresas acompanhem cada execução de treinamento, registrem métricas do sistema (uso da GPU) e versionem os checkpoints dos modelos resultantes em um registro central. Isso garante que, mesmo ao treinar modelos de código aberto localmente, o fluxo de trabalho permaneça reproduzível e colaborativo.
Ajuste fino de modelos de pesos livres
Os modelos Open Weight estão disponíveis publicamente para que os usuários os baixem e executem localmente (ou em sua infraestrutura de nuvem) sem depender de uma API.
Eles diferem dos modelos de código aberto porque o código aberto normalmente implica que o código de treinamento completo, os detalhes dos dados e os termos de licenciamento permitem a modificação e a redistribuição. Os modelos de peso aberto podem liberar os pesos, mas mantêm partes do pipeline de treinamento, do conjunto de dados ou os direitos de uso restritos.
Como os pesos são acessíveis, os modelos de peso aberto podem ser ajustados diretamente por meio do treinamento contínuo em conjuntos de dados personalizados (por exemplo, ajuste fino supervisionado, métodos LoRA/PEFT), permitindo que as organizações personalizem o comportamento, mantendo os dados e a implantação totalmente sob seu controle.
Por exemplo, a família LFM2.5 da Liquid AI serve como um conjunto de modelos básicos de peso aberto. Eles foram lançados para implantações de IA em dispositivos e na borda, com pontos de verificação disponíveis no Hugging Face e na plataforma Liquid AI LEAP.
A série inclui variantes como LFM2.5-1.2B-Base (um modelo base pré-treinado) e LFM2.5-1.2B-Instruct , que já recebeu ajuste fino supervisionado e aprendizado por reforço em seu pipeline pós-treinamento.
Como os pesos são de acesso público, os desenvolvedores podem usar o ponto de verificação base e realizar seu próprio ajuste fino: treinando o modelo em conjuntos de dados proprietários, adaptando-o a tarefas específicas de idioma ou domínio, ou experimentando outros métodos de treinamento (como ajuste fino supervisionado com adaptadores ou alinhamento de preferências).
O LFM2.5 é altamente adequado para personalização de tarefas específicas em hardware local ou dispositivos de borda, onde o controle do fluxo de trabalho de treinamento e inferência é importante. 8
Outro exemplo é o Tinker, do Thinking Machines Lab, uma API projetada para tornar o ajuste fino de modelos de linguagem openweight mais acessível para pesquisadores e desenvolvedores.
O Tinker permite que os usuários adaptem uma ampla gama de modelos open-weight, desde arquiteturas menores até grandes modelos de mistura de especialistas, como o Qwen-235B-A22B. Os usuários podem aplicar o ajuste fino baseado em LoRA ou outros métodos de pós-treinamento para adaptar os modelos a tarefas específicas, seja por meio de aprendizado supervisionado ou abordagens de reforço.
Após o ajuste, os desenvolvedores podem baixar os pontos de verificação resultantes e usá-los de forma independente, permitindo o controle tanto do modelo quanto do comportamento personalizado. 9
4. Avaliando modelos ajustados com precisão
Após a conclusão do processo de ajuste fino, o desempenho do modelo precisa ser avaliado no conjunto de teste. Essa etapa ajuda a garantir que o modelo esteja generalizando bem para novos dados e apresentando bom desempenho na tarefa específica. As métricas comuns usadas para avaliação incluem acurácia, precisão, recall e pontuação F1.
No entanto, para tarefas generativas, as métricas tradicionais costumam ser insuficientes. A avaliação moderna exige o rastreamento do raciocínio do modelo e a verificação da qualidade do texto gerado. Ferramentas como o W&B Weave possibilitam isso, permitindo que os desenvolvedores rastreiem entradas e saídas, depurem prompts e executem avaliações sistemáticas (usando um modelo de lógica de aprendizagem como avaliador) para pontuar o modelo ajustado em nuances como tom, fidelidade e segurança.
5. Implantação
Uma vez que o modelo ajustado seja avaliado, ele poderá ser implementado em ambientes de produção. O processo de implementação pode envolver a integração do modelo em um sistema maior, a configuração da infraestrutura necessária e o monitoramento do desempenho do modelo em cenários reais.
Quais são os métodos utilizados no processo de ajuste fino dos LLMs?
Métodos de ajuste fino
O ajuste fino é um processo que envolve a adaptação de um modelo pré-treinado a uma tarefa ou domínio específico, treinando-o ainda mais em um conjunto de dados menor e específico para a tarefa. Vários métodos de ajuste fino podem ser usados para ajustar os pesos e parâmetros de um modelo pré-treinado, a fim de melhorar seu desempenho na tarefa em questão.
- A aprendizagem por transferência envolve a reutilização dos pesos e da arquitetura de um modelo pré-treinado para uma nova tarefa ou domínio. O modelo pré-treinado geralmente é treinado em um conjunto de dados amplo e geral, e a abordagem de aprendizagem por transferência permite uma adaptação eficiente e eficaz a tarefas ou domínios específicos.
- Ajuste fino sequencial : O modelo pré-treinado é ajustado sequencialmente em múltiplas tarefas ou domínios relacionados. Isso permite que o modelo aprenda padrões de linguagem mais sutis e complexos em diferentes tarefas, resultando em melhor generalização e desempenho.
- Ajuste fino específico para a tarefa : O modelo pré-treinado é ajustado para uma tarefa ou domínio específico usando um conjunto de dados específico para essa tarefa. Esse método requer mais dados e tempo do que a aprendizagem por transferência, mas pode resultar em um desempenho superior na tarefa específica.
- Aprendizado multitarefa : O modelo pré-treinado é ajustado em múltiplas tarefas simultaneamente. Essa abordagem permite que o modelo aprenda e aproveite as representações compartilhadas entre diferentes tarefas, resultando em melhor generalização e desempenho.
- O treinamento com adaptadores envolve o treinamento de módulos leves que são integrados ao modelo pré-treinado, permitindo o ajuste fino em uma tarefa específica sem afetar o desempenho do modelo original em outras tarefas.
Ajuste fino por reforço (RFT)
O Reinforcement Fine-Tuning (RFT, na sigla em inglês) é uma técnica de personalização de modelos que adapta um modelo de linguagem pré-treinado usando feedback baseado em recompensas, em vez de exemplos de treinamento rotulados tradicionais.
Em vez de treinar com base em saídas fixas/corretas, o RFT usa um sinal de recompensa ou função de avaliação para avaliar as respostas do modelo e otimizá-lo iterativamente para maximizar essas recompensas.
Essa abordagem se baseia nos princípios do aprendizado por reforço , em que o modelo se comporta como um agente que aprende quais tipos de saídas levam a pontuações de recompensa mais altas e ajusta seus parâmetros de acordo. Diferentemente do ajuste fino supervisionado, o RFT se destaca em cenários onde saídas corretas precisas são difíceis de definir, mas a qualidade pode ser avaliada ou pontuada.
Por exemplo, o recurso de ajuste fino por reforço do Amazon Bedrock automatiza esse processo para que os desenvolvedores personalizem os modelos com base em sinais de feedback (funções de recompensa).
No Bedrock, os usuários definem o que torna uma resposta precisa por meio de funções de recompensa baseadas em regras ou em IA, e o modelo é treinado para maximizar essas recompensas. 10
Outro exemplo é o RFT de OpenAI. Ele permite que os desenvolvedores adaptem modelos de raciocínio definindo um avaliador programável que pontua as respostas candidatas. Durante o treinamento, o modelo é atualizado para que as saídas com pontuação alta se tornem mais prováveis em gerações futuras.
Isso torna o RFT particularmente útil para tarefas em que a qualidade da saída é subjetiva ou melhor avaliada por meio de pontuação, em vez de respostas de referência exatas. 11
Método de aprendizado com poucos exemplos
A aprendizagem com poucos exemplos (few-shot learning , FSL) envolve aprimorar o desempenho do modelo sem alterar seus pesos. Nessa abordagem, o modelo recebe um número limitado de exemplos (ou seja, "poucos exemplos") da nova tarefa e usa essas informações para se adaptar e ter um desempenho melhor nessa tarefa. Pode ser considerada como uma
- Alternativa de menor custo ao ajuste fino. O único custo são os tokens de entrada para alguns exemplos.
- Meta - problema de aprendizagem onde o modelo aprende como aprender a resolver o problema dado.
Figura 3: Cenário de aprendizado com poucos exemplos, onde o modelo aprende a classificar um conjunto de imagens a partir das tarefas para as quais foi treinado. 12
Isso é particularmente útil quando não há dados suficientes disponíveis para o aprendizado supervisionado tradicional. No contexto de LLMs (Modelos de Aprendizado de Liderança), o ajuste fino com um pequeno conjunto de dados relacionado à nova tarefa é um exemplo de aprendizado com poucos exemplos.
Diferenças entre aprendizado com poucos exemplos e ajuste fino
A principal diferença reside na quantidade de dados específicos da tarefa necessários para que o modelo se adapte a uma nova tarefa ou domínio. Os métodos de ajuste fino requerem uma quantidade moderada de dados específicos da tarefa para otimizar o desempenho do modelo, enquanto os métodos de aprendizado com poucos exemplos (few-shot learning) podem adaptar modelos a novas tarefas ou domínios com apenas alguns exemplos rotulados.
Exemplos de ajuste fino
O ajuste fino resultou em aumentos significativos de desempenho na área financeira.
A Bloomberg desenvolveu o BloombergGPT, um modelo de linguagem em larga escala feito sob medida para o setor financeiro. Esse modelo se concentra em tarefas de processamento de linguagem natural no setor financeiro, como análise de sentimentos , reconhecimento de entidades nomeadas e classificação de notícias.
O BloombergGPT foi criado usando uma combinação de conjuntos de dados financeiros e de uso geral, e obteve pontuações elevadas em testes de benchmark (Figura 4).
Figura 4: Imagem mostrando o desempenho do BloombergGPT em duas categorias amplas de tarefas de PNL: específicas para finanças e de propósito geral. 13
Por que ou quando sua empresa precisa de um LLM bem estruturado?
As empresas podem precisar de modelos de linguagem complexos e bem ajustados por diversos motivos, dependendo de suas necessidades específicas, setor e objetivos. Aqui estão alguns motivos comuns:
1. Personalização
As empresas geralmente têm necessidades e objetivos únicos que um modelo de linguagem genérico pode não atender. O ajuste fino permite que elas adaptem o comportamento do modelo para atender aos seus objetivos específicos, como gerar conteúdo de marketing personalizado ou entender o conteúdo gerado pelo usuário em sua plataforma.
Descubra como o ajuste fino de LLMs permite a criação de produtos e estratégias de marketing personalizados, aprimorando, em última análise, a experiência de IA generativa no varejo , marketing e seguros .
2. Sensibilidade e conformidade dos dados
Empresas que lidam com dados sensíveis ou operam em ambientes regulatórios rigorosos podem precisar ajustar o modelo para garantir que ele respeite os requisitos de privacidade, esteja em conformidade com as diretrizes de conteúdo e gere respostas apropriadas que atendam às regulamentações do setor.
3. Linguagem específica do domínio
Muitas indústrias utilizam jargões, termos técnicos e vocabulário especializado que podem não estar bem representados nos dados gerais de treinamento de um modelo de linguagem de grande porte. O ajuste fino do modelo com dados específicos do domínio permite que ele compreenda e gere respostas precisas dentro do contexto da indústria da empresa.
4. Desempenho aprimorado
O ajuste fino melhora o desempenho do modelo em tarefas ou aplicações específicas relevantes para o negócio, tais como:
- Análise de sentimentos
- Classificação de documentos
- Extração de informações
Isso pode levar a uma melhor tomada de decisões, maior eficiência e melhores resultados.
5. Habilitando capacidades de IA ativa
O ajuste fino é fundamental para o desenvolvimento de sistemas de IA com agentes , projetados para agir de forma autônoma, tomar decisões e interagir com ferramentas ou ambientes externos para atingir objetivos específicos.
Ao otimizar um LLM, as empresas podem aprimorar sua capacidade de executar chamadas de função, permitindo que o modelo selecione e execute as ferramentas apropriadas (por exemplo, APIs, bancos de dados) com parâmetros precisos.
Por exemplo, um LLM (Modelo de Aprendizagem Baseado em Aprendizado) bem ajustado pode alimentar uma IA (Inteligência Artificial) que gerencia de forma autônoma as consultas dos clientes, integrando-se a um sistema CRM ou recuperando dados em tempo real por meio de APIs da web. Essa personalização garante que o modelo compreenda os contextos específicos do domínio e as interações com as ferramentas, tornando a IA mais eficaz e confiável em aplicações corporativas.
6. Experiência do usuário aprimorada
Um modelo bem ajustado pode oferecer uma melhor experiência ao usuário, gerando respostas mais precisas, relevantes e contextualizadas, resultando em maior satisfação do cliente, em aplicações como:
- Chatbots
- Assistentes virtuais
- Sistemas de suporte ao cliente
O que é um modelo de linguagem de grande porte (LLM)?
Um modelo de linguagem de grande escala é um sistema avançado de inteligência artificial ( IA ), mais especificamente um modelo de IA generativo empresarial , projetado para processar, compreender e gerar texto semelhante ao humano com base em grandes quantidades de dados. Esses modelos são normalmente construídos usando técnicas de aprendizado profundo , como redes neurais. Eles são treinados em extensos conjuntos de dados que incluem textos de uma ampla gama de fontes, como livros e sites, para processamento de linguagem natural.
Um dos aspectos fundamentais de um modelo de linguagem de grande porte é sua capacidade de compreender o contexto e gerar respostas coerentes e relevantes com base na entrada fornecida. O tamanho do modelo, em termos de número de parâmetros e camadas, permite que ele capture relações e padrões complexos dentro do texto. Isso possibilita a execução de diversas tarefas , como:
- Respondendo a perguntas
- Geração de texto
- Texto resumido
- Tradução
- Escrita criativa
Exemplos proeminentes de grandes modelos de linguagem incluem a série GPT (Generative Pre-trained Transformer) de OpenAI, sendo o GPT-3 e o GPT-4 as iterações mais recentes.
Os modelos fundamentais, como os grandes modelos de linguagem, são um componente essencial da pesquisa e das aplicações de IA. Eles fornecem uma base para a construção de modelos mais especializados e refinados para tarefas ou domínios específicos.
Figura 5: Exemplos de modelos de fundação. 14
Leitura complementar
- Embora o ajuste fino melhore a eficácia de grandes modelos de linguagem, é essencial abordar os riscos da IA generativa .
- O ajuste fino de grandes modelos de linguagem envolve considerações legais. Explore o panorama jurídico que envolve esses sistemas avançados de IA em IA generativa no âmbito jurídico ou direitos autorais da IA generativa .
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios.