O ecossistema de infraestrutura de IA está crescendo rapidamente, com provedores oferecendo abordagens diversas para construir, hospedar e acelerar modelos. Embora todos visem impulsionar aplicações de IA, cada um foca em uma camada diferente da pilha.
Benchmarkamos os provedores mais amplamente utilizados no OpenRouter: Cerebras, DeepInfra, Fireworks AI, Groq, Nebius e SambaNova, usando o modelo GPT-OSS-120B. Avaliamos cada provedor usando o mesmo conjunto de dados de 108 perguntas, compreendendo 35 perguntas de conhecimento do mundo real e 73 problemas de raciocínio matemático.
Benchmark de precisão dos provedores de IA
Enviamos 108 perguntas (35 perguntas de conhecimento baseadas em artigos + 73 problemas matemáticos) para cada provedor a cada 5 minutos ao longo do dia e calculamos as médias diárias de precisão. Junto com essas perguntas, enviamos uma pergunta de referência específica a cada vez para medir as métricas de latência FTL e E2E.
Por motivos desconhecidos, o Fireworks AI falhou em produzir respostas finais para a maioria das perguntas em 26 de outubro, apesar de não ter limite máximo de token. Embora tenha havido uma breve queda de 1 minuto naquele dia, o problema parece ter afetado as respostas durante todo o dia. Aprendemos que alguns provedores ocasionalmente falham em gerar respostas finais por motivos que permanecem obscuros, conforme documentado anteriormente. Esta situação parece semelhante a incidentes passados.
Testamos o GPT-OSS-120B em uma instância RunPod H200 GPU e alcançou 98% de precisão no conjunto de dados que usamos em nosso benchmark. Leia nossa metodologia de benchmark.
Benchmark de latência dos provedores de IA
Em dias em que a latência aumentou para o Fireworks, houve uma queda de 1 minuto, mas ao longo do dia, ele respondeu à maioria das perguntas em aproximadamente 10 minutos cada por motivos desconhecidos.
Comparação de latência e custo
Identificamos os modelos mais amplamente utilizados que também são os mais comumente oferecidos entre provedores de IA e, em seguida, coletamos os preços combinados dos provedores por 1M de tokens de entrada/saída e suas métricas de latência do primeiro token.
Provedores de IA: Comparação detalhada
Integração de pipeline de dados e ML
Weights & Biases
Weights & Biases (W&B) combina rastreamento de experimentos, avaliação de modelos e observabilidade de aplicações com infraestrutura gerenciada de treinamento e inferência. Originalmente posicionado como um sistema de registro para fluxos de trabalho de ML, o W&B expandiu-se para uma oferta mais verticalmente integrada após sua aquisição com o CoreWeave.
Capacidades
- Rastreia experimentos, hiperparâmetros, métricas, conjuntos de dados e artefatos para apoiar a reprodutibilidade e a comparação entre modelos e infraestrutura.
- Fornece um registro de modelos com versionamento, promoção, reversão e vinculação de linhagem ligando modelos a dados e execuções de treinamento.
- Oferece treinamento gerenciado e ajuste fino, incluindo computação GPU sem servidor para cargas de trabalho de aprendizado por reforço e IA generativa.
- Suporta inferência hospedada para modelos de código aberto e personalizados.
- Permite observabilidade no nível de solicitação para aplicações LLM através do Weave, capturando prompts, respostas, latência e pontuações de avaliação.
- Suporta avaliação automatizada e com intervenção humana e benchmarking entre modelos, prompts e provedores.
- Integra-se com provedores de IA de terceiros, GPUs auto-hospedadas e APIs externas, além de sua própria infraestrutura.
Limitações
O W&B fornece infraestrutura de IA nativa limitada por meio de suas ofertas baseadas no CoreWeave. Inferência hospedada e treinamento GPU sem servidor são suportados, mas o treinamento de modelos em grande escala ou personalizado frequentemente requer infraestrutura externa.
Caso de uso: Mais adequado para equipes de IA que exigem visibilidade de ponta a ponta em experimentação, treinamento, avaliação e implantação, particularmente ao comparar múltiplos modelos ou provedores e manter observabilidade de nível de produção sem bloqueio total do fornecedor.
Databricks
O Databricks fornece uma plataforma unificada que combina análise de dados, aprendizado de máquina e gerenciamento de modelos.
Capacidades
- Construído sobre infraestrutura Spark, permitindo integração de ponta a ponta de preparação de dados, treinamento de modelos e inferência.
- Usa o MLflow para rastreamento de modelos, incluindo parâmetros, métricas e histórico de experimentos.
- O Unity Catalog garante linhagem de dados e governança para práticas de IA responsável.
- Forte em processamento em lote e comparação de modelos.
Limitações
- Não é otimizado para inferência em tempo real. Monitoramento e métricas são projetados para trabalhos em lote, não para latência por solicitação.
- Mais adequado para gerenciar processos complexos entre dados e modelos, em vez de cargas de trabalho de IA críticas para latência.
Caso de uso: Eficaz para empresas que precisam integrar IA em pipelines de ciência de dados, particularmente para modelagem preditiva e aplicações empresariais onde governança e rastreabilidade são necessárias.
Plataformas de hospedagem de modelos
Baseten
O Baseten se posiciona como uma plataforma de hospedagem de modelos para implantar e executar modelos de IA, focando em confiabilidade de produção e observabilidade detalhada.
Capacidades
- Divide a duração da chamada de API em carregamento de modelo, inferência e serialização de resposta, permitindo que desenvolvedores identifiquem fontes de latência.
- Inícios a frio são rastreados no nível de réplica para medir o impacto no desempenho.
- Os usuários configuram parâmetros de dimensionamento automático, como contagens de réplica e limiares de concorrência. Isso permite flexibilidade, mas introduz o risco de má configuração, levando a custos desperdiçados ou latência mais alta.
- Este sistema fornece rastreamento de custos por solicitação vinculado ao tipo de GPU e uso, permitindo comparações de desempenho e custo ao alternar entre hardware como A100 e H100 GPUs.
- Streaming de log em tempo real está disponível, embora filtragem e pesquisa sejam limitadas.
Limitações
- O monitoramento é detalhado no nível de solicitação, mas a pesquisa e filtragem de logs são básicas, o que torna mais difícil depurar grandes cargas de trabalho.
- O dimensionamento automático mal configurado pode impactar diretamente o custo e a latência.
Caso de uso: O Baseten é ideal para desenvolvedores de IA que buscam observabilidade transparente para modelos de IA generativa em ambientes de produção.
Parasail
O Parasail oferece uma rede de inferência de IA projetada para utilização flexível de GPU e otimização de custos.
Capacidades
- O sistema suporta alternância entre tipos de GPU, com alocação automática de recursos com base nas necessidades da carga de trabalho.
- O painel destaca métricas de uso agregado, incluindo tempo de atividade e alocação de GPU.
- Oferece flexibilidade de preços através de diferentes classes de GPU, permitindo compensações entre custo e desempenho.
Limitações
- Não oferece rastreamento no nível de solicitação. Desenvolvedores não podem analisar o custo ou desempenho de solicitações individuais.
- A observabilidade permanece em nível agregado, limitando a profundidade da depuração.
Caso de uso: O Parasail é projetado para organizações que priorizam soluções de IA de baixo custo e flexíveis, mas fornece menos insights para equipes que exigem observabilidade detalhada.
DeepInfra
O DeepInfra oferece hospedagem sem servidor de GPU em várias regiões, permitindo implantação escalável de modelos de IA como APIs.
Capacidades
- Suporte multi-região permite inferência mais próxima dos usuários finais, reduzindo a latência.
- Fornece métricas de latência e throughput no nível do painel.
- Oferece preços sob demanda com relatórios de custos agregados.
- Suporta implantação de modelos de IA generativa de código aberto com APIs simples.
Limitações
- Não fornece rastreamento no nível de solicitação, tornando a análise de causa raiz difícil.
- A divisão de custos é apenas agregada, sem detalhes por solicitação ou por região.
- Versionamento de modelos e mecanismos de reversão não são automatizados, exigindo tratamento manual.
Caso de uso: Mais adequado para organizações implantando cargas de trabalho de IA em várias regiões, onde flexibilidade de custos e cobertura geográfica importam mais do que depuração profunda.
Together AI
O Together AI opera como uma nuvem de aceleração de IA oferecendo capacidades de hospedagem e treinamento de modelos.
Capacidades
- Fornece métricas em níveis agregado e de solicitação, incluindo histogramas de latência e divisões de chamadas por versão.
- Versionamento e reversão de modelos integrados permitem reverter rapidamente para versões anteriores.
- Divisão de tráfego permite testes A/B entre versões de modelos.
- Forte suporte a SDK com bibliotecas de cliente multi-idioma.
- Integrações de CI/CD tornam pipelines de implantação mais maduros do que outras plataformas de hospedagem.
Limitações
- Esta solução oferece mais maturidade operacional, mas vem com o custo de maior complexidade do sistema em comparação com plataformas de hospedagem mais leves.
Caso de uso: O Together AI é adequado para empresas de IA e firmas de serviços profissionais que precisam de controle de versão confiável, monitoramento avançado e integração de ferramentas de IA generativa em fluxos de trabalho estruturados.
Infraestrutura otimizada para hardware / especializada
Cerebras
O Cerebras foca em infraestrutura de IA otimizada para hardware, construída em torno de seu motor em escala de wafer (WSE).
Capacidades
- O WSE integra milhões de unidades de processamento em um único chip, fornecendo throughput extremamente alto para cargas de trabalho de IA.
- Painéis expõem métricas padrão, como tokens por segundo e throughput geral.
- Adequado para treinamento e inferência em modelos de IA avançados em escala.
Limitações
- A implantação não é instantânea; requer preparação de infraestrutura.
- Detalhes de hardware internos, como agendamento e uso de memória, são abstraídos dos usuários.
- Suporte limitado para trazer modelos personalizados arbitrários.
Caso de uso: Eficaz para tarefas de aprendizado de máquina em grande escala e alto throughput em laboratórios de IA, indústria de defesa ou agências governamentais onde o throughput importa mais do que a flexibilidade.
Gruve AI Inference Infrastructure Fabric
O Gruve fornece infraestrutura de inferência de IA distribuída projetada para desempenho previsível, latência mais baixa e escalabilidade de capacidade mais rápida em ambientes de produção. Seu posicionamento é mais próximo de tecido de infraestrutura do que hospedagem de modelos, com ênfase em acesso à energia, locais distribuídos e otimização de pilha completa.
Capacidades
- Suporta capacidade de inferência escalável através de infraestrutura distribuída perto de cidades de nível 1 e nível 2.
- Usa energia encalhada e subutilizada para reduzir e estabilizar os custos de infraestrutura de inferência.
- Implanta inferência mais próxima de usuários, aplicações e dados para reduzir a latência de rede.
- Oferece clusters de infraestrutura de alta densidade, incluindo gabinetes resfriados a líquido e sites de vários megawatts.
- Fornece infraestrutura nativa de IA projetada para suportar requisitos de modelos, atendimento e cargas de trabalho de agentes em mudança.
- Combina infraestrutura, fundação de dados e capacidades de agente de IA em uma pilha de execução de IA empresarial mais ampla.
- Inclui recursos de confiabilidade empresarial, como operações 24/7, segurança integrada, governança e controle operacional.
Limitações
Pode ser mais adequado para organizações que precisam de infraestrutura de inferência dedicada do que equipes procurando uma plataforma de hospedagem de modelos baseada em API leve.
Caso de uso: Mais adequado para empresas e empresas de IA executando cargas de trabalho de inferência em escala de produção onde eficiência de custos, disponibilidade de capacidade, baixa latência e confiabilidade de infraestrutura são prioridades.
SambaNova
O SambaNova constrói soluções de hardware de IA e software baseadas em sua arquitetura de fluxo de dados, que é otimizada no nível do gráfico de computação.
Capacidades
- Fornece plataformas como SambaCloud (serviço em nuvem), SambaStack (on-premise) e SambaManaged (serviço gerenciado).
- Otimizado para inferência e treinamento de modelos de IA generativa.
- Métricas padrão de painel para latência e throughput no nível de token.
Limitações
- A implantação requer compatibilidade do modelo com sua arquitetura, exigindo otimização adicional.
- Métricas de desempenho internas, como largura de banda de memória, não são expostas aos usuários.
- Implantações não são imediatas; fases de implementação são necessárias.
Caso de uso: Adequado para empresas que precisam de soluções impulsionadas por IA combinando hardware e software, especialmente em indústrias que exigem infraestrutura de TI controlada.
Groq
O Groq oferece uma plataforma de inferência de IA alimentada por suas Unidades de Processamento de Linguagem (LPUs).
Capacidades
- Otimizado para geração sequencial de tokens com respostas de streaming de baixa latência.
- Painéis expõem contagens de tokens, latência e taxas de erro.
- O custo é rastreado no nível de token.
Limitações
- Não suporta implantação de modelos personalizados. Apenas modelos fornecidos pelo Groq estão disponíveis.
- Ferramentas de depuração mínimas estão disponíveis; se surgirem problemas de desempenho, é necessário enviar um ticket de suporte.
- Operações internas das LPUs permanecem opacas.
Caso de uso: Mais adequado para aplicações onde respostas de ultra-baixa latência para grandes modelos de linguagem são críticas, como IA conversacional ou algoritmos de tomada de decisão.
Antimatter
O Antimatter fornece infraestrutura de IA verticalmente integrada que combina ativos de energia, data centers modulares e software de nuvem distribuído.
Capacidades
- Implanta computação em locais onde energia renovável, subutilizada ou encalhada já existe.
- Usa unidades Policloud modulares para colocar computação de IA de alta densidade online mais rápido do que construções tradicionais de data centers de hiperescala.
- Conecta locais distribuídos em um único tecido operacional através do software Hivenet.
- Fornece serviços em nuvem, como computação, armazenamento e transferência de arquivos através de APIs.
- Suporta orquestração de cargas de trabalho entre locais com base em demanda, capacidade, preços e restrições locais.
- Separa infraestrutura física de serviços voltados para o cliente, permitindo que novos locais e serviços escalem independentemente.
- Usa orquestração baseada em Kubernetes, máquinas virtuais, suporte a bare metal, armazenamento distribuído, rede criptografada, passagem de GPU e observabilidade centralizada.
Limitações
Seu modelo pode ser mais relevante para organizações que precisam de infraestrutura de IA distribuída ou soberana do que equipes procurando uma simples API de modelo sem servidor.
Caso de uso: Mais adequado para compradores de infraestrutura de IA empresarial que precisam de capacidade de inferência escalável próxima a fontes de energia, usuários e jurisdições regulamentadas, especialmente onde previsibilidade de custos, soberania e velocidade de implantação importam.
API-based hosting
Fireworks AI
O Fireworks AI fornece um serviço de hospedagem baseado em API leve para modelos de IA.
Capacidades
- Implantação rápida de modelos com endpoints de API imediatos.
- Suporta ajuste fino de modelos de IA generativa.
- Painéis fornecem métricas como latência de chamada, uso de token, taxa de erro e contagem de solicitações.
Limitações
- O rastreamento no nível de solicitação está ausente, limitando a depuração detalhada.
- Os dados de custo são apenas agregados, sem visibilidade por solicitação.
- A reversão é manual; reverter para versões anteriores requer reimplantação.
Caso de uso: Adequado para desenvolvedores de IA que precisam de acesso rápido a capacidades de IA generativa sem observabilidade profunda ou gerenciamento complexo de implantação.
O que é um provedor de IA?
Um provedor de IA é uma empresa de inteligência artificial que fornece a infraestrutura, modelos e serviços necessários para que outros desenvolvam e executem soluções impulsionadas por IA.
Os provedores de IA são críticos porque:
- Reduzem barreiras para adoção de IA, especialmente para empresas sem experiência interna profunda.
- Fornecem escalabilidade ao lidar com processos complexos, como dimensionamento automático e treinamento distribuído.
- Oferecem eficiência de custos com infraestrutura sob demanda em vez de investimentos antecipados em hardware de IA.
- Garantem práticas de IA responsável através de governança, rastreabilidade e recursos de conformidade.
Tipos de provedores de IA
Os provedores de IA podem ser agrupados em três categorias principais:
- Provedores de infraestrutura de IA focam em hardware de IA especializado, incluindo processadores personalizados e chips de alto desempenho, para treinamento e inferência.
- Plataformas de hospedagem de modelos fornecem acesso a modelos de IA generativa via APIs, facilitando a integração de IA em aplicações. Eles frequentemente oferecem recursos como dimensionamento automático, monitoramento de latência e ajuste fino.
- Plataformas de dados e aprendizado de máquina enfatizam a integração de ponta a ponta de análise de dados, treinamento de modelos e governança, com foco em IA responsável.
Adicionar como fonte preferencialRecursos principais dos provedores de IA
Através das categorias, a maioria dos provedores de IA compartilha várias características principais que moldam como eles entregam valor e permitem que organizações adotem capacidades de IA efetivamente:
Acesso a grandes modelos de linguagem e outros modelos de IA generativa
Os provedores de IA oferecem acesso direto a grandes modelos de linguagem (LLMs) e uma gama de modelos de IA generativa para tarefas incluindo geração de texto, processamento de fala e reconhecimento de imagem. Esses modelos são tipicamente oferecidos através de APIs, o que torna mais fácil para organizações incorporar soluções impulsionadas por IA em aplicações sem exigir experiência extensa em treinamento de modelos.
Infraestrutura de IA para lidar com cargas de trabalho de IA exigentes
Os provedores fornecem ambientes de computação adaptados para modelos de IA avançados e cargas de trabalho de IA em grande escala. Isso inclui o poder de processamento necessário para treinamento, ajuste fino e inferência, frequentemente projetado para suportar tanto operações em lote de alto throughput quanto tarefas sensíveis à latência. Tal infraestrutura permite que empresas executem processos complexos de forma eficiente e confiável.
Painéis de implantação e monitoramento com métricas de latência, throughput e custo
Painéis são um recurso padrão, fornecendo visibilidade sobre o desempenho e eficiência de sistemas de IA. Métricas típicas incluem latência por solicitação, throughput geral, taxas de processamento de tokens e contagens de erro. A visibilidade de custos também é fornecida, variando de relatórios por solicitação a resumos agregados. Essas ferramentas suportam gerenciamento e otimização eficazes de recursos.
Opções para ajuste fino e gerenciamento de modelos
Muitas plataformas incluem a capacidade de ajustar modelos de IA generativa para casos de uso especializados. Isso permite que organizações adaptem modelos a necessidades específicas da indústria, como modelagem preditiva em cadeia de suprimentos ou IA conversacional no suporte ao cliente. Recursos de gerenciamento de modelos frequentemente incluem controle de versão, reversão e divisão de tráfego para experimentos, que ajudam a manter a confiabilidade enquanto iteram em novas implantações.
Flexibilidade de preços, frequentemente baseada em pagamento por uso ou consumo de token
Em vez de depender de pesados investimentos antecipados em hardware de IA, os provedores comumente usam preços baseados em consumo. Isso pode ser estruturado por solicitação, por token ou por tempo de computação. Preços flexíveis reduzem a barreira de entrada para organizações experimentando adoção de IA, enquanto permitem que empresas alinhem gastos com demandas de carga de trabalho e otimizem tanto custo quanto desempenho.
O que são gateways de IA?
Um gateway de IA é uma plataforma de middleware que gerencia a integração, roteamento e governança de modelos e serviços de IA dentro de ambientes empresariais. Em vez de fornecer os modelos em si, os gateways de IA atuam como um ponto de entrada unificado entre aplicações e múltiplas ferramentas de IA, incluindo grandes modelos de linguagem, sistemas de reconhecimento de imagem e outros serviços de IA generativa.
Eles lidam com funções como padronização de API, orquestração de modelos, monitoramento, aplicação de segurança e rastreamento de custos, permitindo que organizações controlem como as cargas de trabalho de IA são acessadas e usadas entre provedores diversos.
Principais diferenças entre gateways de IA e provedores de IA
Função
- Provedores de IA entregam infraestrutura de IA, modelos de IA e o poder de computação necessário para executá-los.
- Gateways de IA gerenciam e orquestram interações com esses modelos, oferecendo consistência e governança.
Posição na pilha
- Provedores de IA operam na camada de infraestrutura e modelo, fornecendo as capacidades reais de IA.
- Gateways de IA ficam acima dos provedores, conectando aplicações a um ou mais modelos através de uma única camada de controle.
Escopo de responsabilidade
- Provedores de IA focam em treinamento, ajuste fino, hospedagem e atendimento de modelos.
- Gateways de IA focam em unificação de API, roteamento de carga de trabalho, observabilidade e aplicação de políticas entre modelos.
Governança e segurança
- Provedores de IA implementam governança para seus próprios modelos, como controle de versão e monitoramento de custos.
- Gateways de IA fornecem governança centralizada, permitindo conformidade, controle de acesso e proteção de dados entre múltiplos modelos e fornecedores.
Abordagem de implantação
- Provedores de IA oferecem várias opções de infraestrutura, incluindo APIs em nuvem, clusters dedicados e hardware on-premises.
- Gateways de IA fornecem modelos de implantação (global, multicloud, sidecar ou micro-gateway) que otimizam o roteamento de tráfego entre aplicações e modelos.
Metodologia de benchmark
Neste benchmark, o GPT-OSS-120B, o modelo de código aberto mais amplamente utilizado na plataforma OpenRouter, foi analisado selecionado. Antes de prosseguir com o benchmark, o desempenho de base do modelo GPT-OSS-120B foi estabelecido. O modelo foi testado em um ambiente auto-hospedado em uma instância RunPod H200 GPU e alcançou 98% de precisão no conjunto de dados de 108 perguntas usado no benchmark (35 perguntas baseadas em artigos + 73 problemas matemáticos).
Antes de iniciar o benchmark, dados de participação de mercado no OpenRouter foram analisados para identificar os seis principais provedores de IA com a maior participação, e apenas esses provedores foram usados no teste. Todas as solicitações de API foram enviadas através do mesmo endpoint de OpenRouter API para garantir consistência nas condições de teste.
Conjunto de dados e processo de teste
O conjunto de dados de benchmark consiste em um total de 108 perguntas. Dessas perguntas, 35 são perguntas de conhecimento do mundo real derivadas de artigos da CNN News e combinadas com verdade fundamental verificada. O propósito desta seção é medir se o modelo lembra com precisão informações numéricas, como porcentagens, datas e quantidades, e avaliar sua tendência de alucinação. As 73 perguntas restantes consistem em problemas de raciocínio matemático e testam a consistência numérica do modelo, inferência lógica e precisão computacional.
As 108 perguntas usadas no processo de teste são perguntas que o modelo responde consistentemente corretamente. O propósito deste teste é observar o desempenho e a degradação de qualidade do modelo em horários específicos do dia ou durante mudanças na carga do sistema.
O processo de teste é conduzido da seguinte forma:
- As 108 perguntas são enviadas individualmente em intervalos de 5 minutos, e este processo continua continuamente.
- Respostas Verdadeiro/Falso obtidas de cada pergunta são usadas nos cálculos de precisão.
- Simultaneamente, com cada envio, uma pergunta de referência fixa também é enviada a todos os provedores. As métricas medidas a partir desta pergunta de referência são:
- Latência do Primeiro Token (FTL): O tempo desde o envio da solicitação até que o modelo produza o primeiro token.
- Latência de Ponta a Ponta (Latência E2E): O tempo para o modelo gerar completamente a resposta.
Solicitações são enviadas a todos os provedores simultaneamente para o mesmo modelo e através do mesmo endpoint de API. O sistema de benchmark opera ciclicamente; no final de cada dia, os valores de precisão obtidos das 108 perguntas e as médias diárias dos valores de latência FTL/E2E medidos a partir da pergunta de referência fixa são refletidos em gráficos.
Detalhes do teste de base auto-hospedado
O teste de desempenho de base foi conduzido executando o modelo openai/gpt-oss-120b em um ambiente auto-hospedado em uma instância RunPod H200 GPU. O ambiente de teste foi construído usando o modelo PyTorch do RunPod, com o motor de inferência vLLM (versão 0.10.2) instalado como a biblioteca de atendimento principal. Um componente crítico da pilha de software foi o SDK openai-harmony, que é obrigatório para codificar corretamente prompts e decodificar respostas para a série de modelos GPT-OSS. O motor vLLM foi configurado com gpu_memory_utilization=0.85 e max_model_len=4096 para acomodar a quantização MXFP4 do modelo e requisitos de contexto. Para otimizar o desempenho, a biblioteca flashinfer também foi instalada, que fornece uma aceleração significativa para inferência em hardware H200.
O benchmark foi executado usando o script test_baseline_harmony_correct.py, que processa um conjunto de dados consolidado de 108 perguntas (35 perguntas baseadas em artigos e 73 problemas matemáticos). Para cada pergunta, um prompt foi construído programaticamente usando o SDK openai-harmony. Isso envolveu criar um objeto Conversation com mensagens Role.SYSTEM, Role.DEVELOPER e Role.USER distintas; o DeveloperContent especificamente incluiu a instrução "Reasoning: high" para elicitar respostas detalhadas. Este objeto foi renderizado em IDs de token usando a codificação HarmonyEncodingName.HARMONY_GPT_OSS. A inferência foi conduzida com parâmetros de amostragem determinísticos (temperature=0.0) e max_tokens=2048 para capturar todo o raciocínio. Os stop_token_ids foram fornecidos diretamente do método stop_tokens_for_assistant_actions() da codificação harmony. Finalmente, os tokens de saída do modelo foram analisados pelo SDK harmony para extrair a resposta estruturada, que foi então normalizada e validada contra a verdade fundamental para calcular a precisão.
Cite este benchmark
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{ermut2026,
author = {Ermut, Sıla and Şipi, Nazlı},
title = {{Top 9 Provedores de IA Comparados}},
year = {2026},
month = may,
howpublished = {\url{https://aimultiple.com/ai-providers}},
note = {AIMultiple. Acessado em 18 Maio 2026}
}
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.