Modelos de IA
Os modelos de IA fazem previsões com base em seus dados de treinamento. Eles podem funcionar em qualquer domínio, como números, texto ou multimídia.
Gateways de IA para OpenAI: Alternativas ao OpenRouter
LLMBenchmark7 novAvaliamos OpenRouter, SambaNova, TogetherAI, Groq e IA/ML API em três indicadores (latência do primeiro token, latência total e contagem de tokens de saída), com 300 testes usando prompts curtos (aprox. 18 tokens) e prompts longos (aprox. 203 tokens) para a latência total. Se você planeja usar um desses gateways de IA, você pode: Neste benchmark,…
- LLMComparação de Recursos5 nov
LLM Preços: Top 15+ Provedores Comparados
Acompanhamos os preços de lançamento de mais de 160 LLMs, do GPT-3.5 Turbo em março de 2023 aos lançamentos mais recentes, agrupados por classe de tamanho. Também comparamos os preços de API dos models atuais com seus resultados de benchmark e analisamos os planos de assinatura dos principais provedores. Os preços são por milhão de…
- LLMAnálise5 nov
LLM Participação de mercado: Compare uso e adoção
Analisamos a participação de mercado de LLM combinando dados baseados em uso e estimativas de visitas à web para mostrar como a demanda por grandes models de linguagem está distribuída entre laboratórios de IA e aplicações de IA. Leia a metodologia para ver como medimos e calculamos esses resultados. Os Estados Unidos dominaram as visitas…
- LLMBenchmark5 nov
LLM Benchmark de Latência por Casos de Uso
Você pode encontrar detalhes sobre como medimos a latência aqui. Relatamos models de raciocínio e models sem raciocínio separadamente. Models de raciocínio passam vários segundos pensando antes da primeira resposta visível, portanto compará-los diretamente com models sem raciocínio em latência seria enganoso. Alguns models também mudam de comportamento por tarefa: GPT-5.2 responde a Q&A sem…
- System OneBenchmark4 nov
AIM-Decision: Jev contra Clef contra LLMs
Modelos de decisão, também chamados de modelos System One, avaliam um conjunto fixo de opções em vez de gerar texto token por token. Testamos 62 modelos de decisão em 1.655 perguntas de classificação, como classificar uma falha de segurança ou um recall de produto, e executamos 49 deles em 50 tarefas de navegador. Veja o…
- LLMComparação de Recursos3 nov
Compare 9 grandes modelos de linguagem na saúde
Avaliamos 9 LLMs usando o dataset MedQA, um benchmark de exame clínico de nível de pós-graduação derivado das perguntas do USMLE. Cada modelo respondeu aos mesmos cenários clínicos de múltipla escolha usando um prompt padronizado, permitindo a comparação direta da precisão. Também registramos a latência por pergunta dividindo o tempo total de execução pelo número…
- LLMBenchmark3 nov
Benchmark de 90+ LLMs em Finanças: Claude Opus 5.5 & Gemini 4 Argon
O conjunto de teste é o subconjunto difícil do benchmark FinanceReasoning (Tang et al.), com 238 perguntas. A precisão é a porcentagem de perguntas respondidas corretamente. Respostas numéricas recebem uma tolerância relativa de 0,2%. Os tokens de saída são os tokens gerados nas 238 respostas. Os tokens de entrada são contados separadamente no cálculo de…
- LLMBenchmark3 nov
AIM-Text-to-SQL Benchmark: Precisão SQL em mais de 70 LLMs
A precisão SQL é a porcentagem de consultas pontuadas que retornam o resultado de referência. Rotas incorretas e referências sinalizadas como quebradas são excluídas. Uma consulta de referência é o SQL fornecido como resposta esperada. Cada modelo alcança um conjunto diferente de perguntas SQL porque a pontuação depende de suas escolhas de banco de dados.…