O modelo mais recente do Índice de Inteligência da AIMultiple é Gemini 3.8 Flash.
Benchmarks de LLM
Um único Índice de Inteligência transparente que combina benchmarks públicos com as próprias avaliações agênticas, de RAG e de raciocínio empresarial da AIMultiple. Ver a metodologia.
Classificação
Os modelos com maior pontuação em todos os benchmarks.
# | Modelo | Índice | Agentic RAG | ARC-AGI-1 | ARC-AGI-2 | ArxivMath | CritPt | FinanceReasoning | FrontierMath | LegalBench | MMMU-Pro | Terminal-Bench 2.1 | Terminal-Bench Hard | Text-to-SQL |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 5 Anthropic | 86 | - | 98 | 90 | 91 | 29 | 90 | 73 | 87 | 85 | 89 | - | - |
| 2 | GPT-5.6 Sol OpenAI | 81 | 87 | 98 | 93 | - | 32 | 90 | 83 | 87 | 83 | 89 | - | 74 |
| 3 | Claude Fable 5 Anthropic | 79 | 98 | 99 | 89 | 79 | 29 | 90 | 88 | 89 | 81 | 85 | 63 | 90 |
| 4 | GPT-5.6 Terra OpenAI | 67 | 91 | 97 | 84 | - | 30 | 87 | 71 | 85 | 81 | 87 | - | 71 |
| 5 | Claude Opus 4.8 Anthropic | 66 | 100 | 93 | 72 | 71 | - | 89 | 56 | 84 | 79 | 85 | 58 | 77 |
| 6 | Claude Fable 5.1 Anthropic | 66 | - | 98 | 90 | - | 31 | - | 88 | 89 | - | 91 | - | - |
| 7 | Gemini 3.7 Flash Google | 62 | - | 96 | 85 | - | 14 | - | 37 | 87 | 86 | 86 | - | - |
| 8 | GPT-5.5 Pro OpenAI | 62 | - | 97 | 85 | - | 31 | - | 78 | - | - | - | - | - |
| 9 | Kimi K3 Moonshot AI | 61 | 93 | 95 | 60 | - | 23 | 88 | 39 | 86 | 82 | 85 | - | 77 |
| 10 | GPT-5.6 Sol Pro OpenAI | 60 | 96 | - | - | - | - | 91 | 81 | - | - | - | - | 79 |
Como o índice é construído
Cada benchmark torna-se uma posição numa escala de 0 a 100, e o índice é a média ponderada dessas posições. Um benchmark em que o modelo não foi avaliado conta como a média do campo, para que as pontuações continuem comparáveis. Índice = Terminal-Bench-Science (14%) + FrontierMath (12%) + Frontier-Bench (12%) + ArxivMath (10%) + MMMU-Pro (9%) + ARC-AGI-2 (8%) + CritPt (6%) + FinanceReasoning (5%) + Text-to-SQL (5%) + BioMysteryBench (5%) + ARC-AGI-1 (5%) + Terminal-Bench 2.1 (3%) + Agentic RAG (3%) + Terminal-Bench Hard (2%) + LegalBench (1%).
Atualizações recentes
Últimas alterações no Índice de Inteligência, na cobertura de modelos e na metodologia de benchmarks da AIMultiple.
Gemini 3.8 Flash
Novo modelo adicionado ao Índice de Inteligência da AIMultiple.
Claude Fable 5.1
Novo modelo adicionado ao Índice de Inteligência da AIMultiple.
Hy4 preview
Novo modelo adicionado ao Índice de Inteligência da AIMultiple.
GLM 5.3 Flash
Novo modelo adicionado ao Índice de Inteligência da AIMultiple.
Principais lançamentos de modelos de IA dos fornecedores líderes nos últimos 23 dias.
Explore Casos de uso, análises e benchmarks do LLM
LLM Benchmark de Latência por Casos de Uso
Fizemos o benchmark de 11 dos principais modelos de linguagem de grande escala com um total de 1.320 pedidos, dividindo modelos de raciocínio e não-raciocínio, e medimos a latência do primeiro token, a latência por token e o tempo total de resposta. Pode encontrar detalhes sobre como medimos a latência aqui. Relatamos modelos de raciocínio…
Agentic IT: Can LLMs Design a Benchmark
We gave 12 large language models the job a benchmark team does: invent a benchmark, build it, run four models through it, and report the results. Each did it twice. None of the 24 attempts passed every criterion, and six of the rubric’s checks were passed by none of them. The two topics are text-to-SQL,…
Comparar Modelos de IA Multimodais em Raciocínio Visual
Avaliámos 15 modelos de IA multimodais líderes em raciocínio visual utilizando 200 perguntas baseadas em imagens. A avaliação consistiu em duas pistas: 100 perguntas de compreensão de gráficos testando a interpretação de visualizações de dados, e 100 perguntas de lógica visual avaliando o reconhecimento de padrões e o raciocínio espacial. Cada pergunta foi executada 5…
Gateways de IA para OpenAI: Alternativas ao OpenRouter
Avaliamos OpenRouter, SambaNova, TogetherAI, Groq e IA/ML API em três indicadores (latência do primeiro token, latência total e contagem de tokens de saída), com 300 testes usando prompts curtos (aprox. 18 tokens) e prompts longos (aprox. 203 tokens) para a latência total. Se planeia utilizar um destes gateways de IA, pode: Neste benchmark, comparámos o…
Modelos de Linguagem Grandes em Cibersegurança
Avaliamos 7 modelos de linguagem grandes em 9 domínios de cibersegurança usando o SecBench, um benchmark de grande escala e multi-formato para tarefas de segurança. Testamos cada modelo em 44.823 perguntas de múltipla escolha (MCQs) e 3.087 perguntas de resposta curta (SAQs), cobrindo áreas como segurança de dados, gestão de identidade e acesso, segurança de…
LLM Quantização: BF16 vs FP8 vs INT4
Realizamos o benchmark do Qwen3-32B em 4 níveis de precisão (BF16, FP8, GPTQ-Int8, GPTQ-Int4) em uma única NVIDIA H100 80GB GPU. Cada configuração foi avaliada em 2 benchmarks (~12,2 mil perguntas) cobrindo conhecimento e geração de código, além de mais de 2.000 execuções de inferência para medir a vazão. O Int4 é 2,7x mais rápido…