AIM LLM Index

AIM-Agentic-RAGRoteamento multibanco de dados e geração de consultas SQL em 5 bancos de dados (BIRD-SQL, 500 perguntas).

AIM-AI-BiasPer model per question per repetition bias evaluation results across 64 questions in both multiple choice and open ended formats, 27 models in the multiple choice condition and 26 in the open ended condition

AIM-FinanceReasoningRaciocínio financeiro complexo de várias etapas em 238 perguntas difíceis do FinanceReasoning.

AIM-Text-to-SQLPrecisão na geração de consultas SQL a partir de linguagem natural em mais de 35 LLMs.

CritPtProblemas de fisica de nivel de pesquisa que exigem derivacoes em varias etapas.

FrontierMathProblemas de matemática de pesquisa inéditos, escritos por especialistas (níveis 1–4).

MMMU-ProCompreensao multimodal de nivel universitario entre disciplinas, endurecida contra atalhos apenas textuais.

SciCodeProgramação científica de nível de pesquisa em física, matemática, biologia e química (338 subproblemas)

Terminal-Bench 4.0A geracao atual do Terminal-Bench: tarefas agenticas de terminal pontuadas por taxa de resolucao.

Atualizações recentes

Últimas alterações no AIM LLM Index, na cobertura de modelos e na metodologia de benchmarks da AIMultiple.

13 out. 2026

Google

Gemini 4 Argon

Novo modelo adicionado ao AIM LLM Index.

12 out. 2026

Muse Wonder

Novo modelo adicionado ao AIM LLM Index.

7 out. 2026

Anthropic

Claude Haiku 5.5

Novo modelo adicionado ao AIM LLM Index.

29 set. 2026

OpenAI

GPT-6.1 Sol

Novo modelo adicionado ao AIM LLM Index.

Cronologia de lançamentos de LLMO ritmo da inovação em IA

Explore Casos de uso, análises e benchmarks do LLM

LLM Latência Benchmark por Casos de Uso

13 out

Você pode encontrar detalhes sobre como medimos a latência aqui. Relatamos os models de raciocínio e sem raciocínio separadamente. Os models de raciocínio passam vários segundos pensando antes da primeira resposta visível, portanto compará-los diretamente com models sem raciocínio em latência seria enganoso. Alguns models também mudam o comportamento por tarefa: GPT-5.2 responde a Q&A…

50+ Casos de Uso do ChatGPT com Exemplos da Vida Real

O ChatGPT alcançou aproximadamente 1 bilhão de usuários ativos semanais no início de 2026, cerca de 10% da população mundial. A OpenAI ultrapassou US$ 20 bilhões em receita anual em 2025, confirmado pela CFO Sarah Friar. O Índice Econômico da Anthropic distingue dois modos de uso: aumento, em que um humano interage com a IA,…

6 out

Grandes Modelos de Linguagem em Cibersegurança

Avaliamos 7 grandes modelos de linguagem em 9 domínios de cibersegurança usando o SecBench, um benchmark de grande escala e multiformato para tarefas de segurança. Testamos cada modelo em 44.823 perguntas de múltipla escolha (MCQs) e 3.087 perguntas de resposta curta (SAQs), abrangendo segurança de dados, gerenciamento de identidade e acesso, segurança de rede, gerenciamento…

Comparação de Recursos

6 out

LLM Preços: Top 15+ Provedores Comparados

Acompanhamos os preços de lançamento de mais de 160 LLMs, do GPT-3.5 Turbo em março de 2023 aos lançamentos mais recentes, agrupados por classe de tamanho. Também comparamos os preços de API dos models atuais com seus resultados de benchmark e analisamos os planos de assinatura dos principais provedores. Os preços são por milhão de…

30 set

Gateways de IA para OpenAI: Alternativas ao OpenRouter

Avaliamos OpenRouter, SambaNova, TogetherAI, Groq e IA/ML API em três indicadores (latência do primeiro token, latência total e contagem de tokens de saída), com 300 testes usando prompts curtos (aprox. 18 tokens) e prompts longos (aprox. 203 tokens) para a latência total. Se você planeja usar um desses gateways de IA, você pode: Neste benchmark,…

Análise

21 set

LLM Calculadora de VRAM para Auto-Hospedagem

Auto-hospedar um LLM significa executar a inferência em hardware que o operador controla, em vez de via uma API de terceiros, o que altera o custo, o controle de dados e o perfil de privacidade. O fato de um modelo executar ou não depende da memória. A calculadora estima a VRAM ou memória unificada que…

18 set

TI Agêntica: Podem os Agentes de IA Conceber um Benchmark

Testámos 16 models na conceção de um benchmark em text-to-SQL e chamada de ferramentas. Cada model criou um benchmark por tópico, num total de 32 submissões. Nenhuma submissão passou em todos os critérios da rubrica. Os agentes conseguiram criar e executar testes, mas nenhum demonstrou simultaneamente um teste de resposta em branco e um teste…

17 set

AIM Enterprise: Benchmark Empresarial Agêntico

As empresas usam LLMs todos os dias para suas tarefas regulares. Para encontrar os LLMs com melhor custo-benefício, projetamos o AIM Enterprise, um benchmark empresarial agêntico, no qual usamos 69 tarefas empresariais reais em estratégia, marketing, RH, vendas e operações. Dois modelos juízes pontuaram cada arquivo que passou nas verificações. Em 32,7% das pontuações individuais,…

Análise

15 set

LLM Leis de Escala: Análise de Pesquisadores de IA

Large language models preveem o próximo token com base em padrões aprendidos a partir de dados de texto. O termo LLM leis de escala refere-se a regularidades empíricas que vinculam o desempenho do model à quantidade de computação, aos dados de treinamento e aos parâmetros do model usados durante o treinamento. Para entender como essas…

Comparação de Recursos

15 set

Compare 9 grandes modelos de linguagem na saúde

Avaliamos 9 LLMs usando o dataset MedQA, um benchmark de exame clínico de nível de pós-graduação derivado das perguntas do USMLE. Cada modelo respondeu aos mesmos cenários clínicos de múltipla escolha usando um prompt padronizado, permitindo a comparação direta da precisão. Também registramos a latência por pergunta dividindo o tempo total de execução pelo número…