Benchmarks de LLM

Um único Índice de Inteligência transparente que combina benchmarks públicos com as próprias avaliações agênticas, de RAG e de raciocínio empresarial da AIMultiple.

Última atualização Jun 2026

MELHOR MODELO

Claude Fable 5

Índice 92

Melhor custo-benefício

MiniMax M3

$0.42 / 1M

Mais rápido

GPT OSS 120B

0.19s TTFT

Cobertura

64 modelos

8 benchmarks · 336 avaliações

Índice de Inteligência da AIMultiple

Classificação

Os modelos com maior pontuação em todos os benchmarks.

#	Modelo	Índice	LegalBench	FinanceReasoning	Text-to-SQL	Agentic RAG	ARC-AGI-2	Agentic LLM Benchmark	FrontierMath	Swe-Bench
1	Claude Fable 5 Anthropic	92	89	90	90	98	-	69	-	-
2	Kimi K3 Moonshot AI	88	86	88	77	93	-	73	-	-
3	GPT-5.6 Sol OpenAI	87	87	90	74	87	93	62	-	-
4	Grok 4.5 X	86	86	88	79	83	-	73	-	-
5	GPT-5.5 OpenAI	83	87	-	-	-	85	59	-	-
6	GPT-5.6 Terra OpenAI	80	85	87	71	91	84	61	-	-
7	GPT-5.6 Sol Pro OpenAI	80	-	91	79	96	-	54	-	-
8	Claude Opus 4.6 Anthropic	78	-	88	68	80	69	72	-	-
9	Gemini 3 Pro Preview Google	77	87	86	60	89	31	-	-	-
10	Gemini 3.1 Pro Preview Google	77	87	87	65	89	77	46	27	-
Página 1 de 7

Custo$20.00

Latência3.98s

Contexto1M

TTFT3.98s

LegalBench

89

FinanceReasoning

90

Text-to-SQL

90

Agentic RAG

98

Agentic LLM Benchmark

69

Custo$6.00

Latência252.11s

Contexto1M

TTFT252.11s

LegalBench

86

FinanceReasoning

88

Text-to-SQL

77

Agentic RAG

93

Agentic LLM Benchmark

73

Custo$11.25

Latência2.47s

Contexto1M

TTFT2.47s

LegalBench

87

FinanceReasoning

90

Text-to-SQL

74

Agentic RAG

87

ARC-AGI-2

93

Agentic LLM Benchmark

62

Custo$3.00

Latência10.26s

Contexto500k

TTFT10.26s

LegalBench

86

FinanceReasoning

88

Text-to-SQL

79

Agentic RAG

83

Agentic LLM Benchmark

73

Custo$11.25

Latência1.03s

Contexto272k

TTFT1.03s

LegalBench

87

ARC-AGI-2

85

Agentic LLM Benchmark

59

Custo$5.63

Latência1.92s

Contexto1M

TTFT1.92s

LegalBench

85

FinanceReasoning

87

Text-to-SQL

71

Agentic RAG

91

ARC-AGI-2

84

Agentic LLM Benchmark

61

Custo$11.25

Latência11.46s

Contexto1M

TTFT11.46s

FinanceReasoning

91

Text-to-SQL

79

Agentic RAG

96

Agentic LLM Benchmark

54

Custo$10.00

Latência1.75s

Contexto1M

TTFT1.75s

FinanceReasoning

88

Text-to-SQL

68

Agentic RAG

80

ARC-AGI-2

69

Agentic LLM Benchmark

72

Custo$4.50

Latência-

Contexto1M

TTFT

LegalBench

87

FinanceReasoning

86

Text-to-SQL

60

Agentic RAG

89

ARC-AGI-2

31

Custo$4.50

Latência33.83s

Contexto1M

TTFT33.83s

LegalBench

87

FinanceReasoning

87

Text-to-SQL

65

Agentic RAG

89

ARC-AGI-2

77

Agentic LLM Benchmark

46

FrontierMath

27

Página 1 de 7

Gráficos

Modelos seguindo "Melhor desempenho"

Evolução ao longo do tempo

Índice de Inteligência por data de lançamento do modelo

Custo vs desempenho

Custo combinado em relação ao Índice de Inteligência

Modelo × Benchmark

Melhores modelos nos benchmarks selecionados

Metodologia

Como o índice é construído

O Índice de Inteligência normaliza cada benchmark em uma escala de 0 a 100 e calcula a média da posição relativa de um modelo nos benchmarks em que foi avaliado. Cada benchmark abaixo alimenta essa pontuação.

FinanceReasoningWe evaluated LLMs on 238 hard questions from the FinanceReasoning benchmark (Hendrycks et al.). This subset targets the most challenging financial reasoning tasks, assessing complex multi-step quantitative reasoning with financial concepts and formulas. Our evaluation employed a custom prompt design and scoring criteria of accuracy and token consumption.

Text-to-SQLWe used our text-to-SQL benchmark methodology on 24 large language models (LLMs) to assess their performance in SQL command generation:

Agentic RAGWe conducted a benchmark to assess its performance on routing between multiple databases and generating queries.

AI MemoryWe benchmarked 11 leading text embedding models, including those from OpenAI, Gemini, Cohere, Snowflake, AWS, Mistral, and Voyage AI, using ~500,000 Amazon reviews. We evaluated each model’s ability to retrieve and rank the correct answer first:

AI HallucinationWe benchmarked 29 different LLMs with 60 questions to measure their hallucination rates

Humanity's Last ExamAGI

LegalBenchLegal

FrontierMathIntelligence

Swe-BenchCoding

LiveCodeBenchCoding

Agentic LLM BenchmarkAgentic LLM Benchmark

Atualizações recentes

Atualizações recentes

Últimas alterações no Índice de Inteligência, na cobertura de modelos e na metodologia de benchmarks da AIMultiple.

16 jul. 2026

Moonshot AI

Kimi K3

Novo modelo adicionado ao Índice de Inteligência da AIMultiple.

9 jul. 2026

OpenAI

GPT-5.6 Sol

Novo modelo adicionado ao Índice de Inteligência da AIMultiple.

9 jul. 2026

OpenAI

GPT-5.6 Terra

Novo modelo adicionado ao Índice de Inteligência da AIMultiple.

9 jul. 2026

OpenAI

GPT-5.6 Sol Pro

Novo modelo adicionado ao Índice de Inteligência da AIMultiple.

Explore Casos de uso, análises e benchmarks do LLM

LLM Scaling Laws: Analysis from IA Researchers

Modelos de linguagem grandes preveem o próximo token com base em padrões aprendidos a partir de dados de texto. O termo LLM leis de escalonamento refere-se a regularidades empíricas que ligam o desempenho do modelo à quantidade de computação, dados de treinamento e parâmetros do modelo usados durante o treinamento. Para entender como essas relações…

LLM Preços: Top 15+ Provedores Comparados

LLM preços abrangem três ordens de grandeza: os modelos commodity mais baratos custam menos de $0.20 por milhão de tokens, enquanto os níveis de raciocínio de ponta foram lançados por até $262.50. O gráfico abaixo acompanha como os preços de lançamento evoluíram: cada modelo está colocado na sua data de lançamento com o seu preço…

Texto-para-SQL: Comparação da Precisão de LLMs

Eu dependo do SQL para análise de dados há 18 anos, desde os meus tempos de consultor. Traduzir perguntas em linguagem natural para SQL torna os dados mais acessíveis, permitindo que qualquer pessoa, mesmo aquelas sem habilidades técnicas, trabalhe diretamente com bancos de dados. Utilizámos a nossa metodologia de benchmark de texto-para-SQL em mais de…

LLM Guia de Fine‑Tuning para Empresas

Siga os links para soluções específicas para seus desafios de saída de LLM. Se o seu LLM: A ampla adoção de large language models (LLMs) melhorou nossa capacidade de processar a linguagem humana. No entanto, seu treinamento genérico frequentemente resulta em desempenho abaixo do ideal para tarefas específicas. Para superar essa limitação, métodos de fine‑tuning…

Ferramentas de Observabilidade LLM: Weights & Biases, Langsmith

LLM aplicações se expandiram de chats de turno único para agentes de múltiplas etapas que usam ferramentas, consultam bancos de dados e coordenam com outros modelos, tornando seu comportamento mais difícil de interpretar. A observabilidade de LLM fornece visibilidade contínua sobre esses fluxos de trabalho complexos, ajudando as organizações a monitorar a qualidade, detectar falhas,…

LLM Calculadora de VRAM para Auto-hospedagem

Auto-hospedar um LLM significa executar a inferência em hardware controlado pelo operador, em vez de via uma API de terceiros, o que altera o custo, o controlo dos dados e o perfil de privacidade. O facto de um modelo conseguir sequer correr depende da memória. A calculadora estima a VRAM ou a memória unificada de…

Benchmark de 40+ LLMs em Finanças: Claude Fable 5 & GPT-5.6 Sol

Avaliamos 40+ LLMs em finanças em 238 perguntas difíceis do benchmark FinanceReasoning para identificar quais modelos se destacam em tarefas complexas de raciocínio financeiro, como análise de demonstrações, previsões e cálculos de índices. Avaliamos LLMs em 238 perguntas difíceis do benchmark FinanceReasoning (Tang et al.).1 Este subconjunto tem como alvo as tarefas de raciocínio financeiro…

LLM Automação: 7 Principais Ferramentas e 8 Estudos de Caso

A automação com LLM refere-se à mudança para ferramentas de automação inteligente que utilizam LLMs, incluindo agentes de IA, LLMs ajustados e modelos RAG para automatizar e coordenar tarefas. Explore o que é a automação com LLM, as suas principais aplicações reais e as principais ferramentas: Os modelos de linguagem de grande dimensão na automação…

LLM Benchmark de Latência por Casos de Uso

Analisámos 11 dos melhores modelos de linguagem de grande escala com um total de 1.320 pedidos, separando modelos de raciocínio e que não usam raciocínio, e medimos a latência do primeiro token, a latência por token e o tempo total de resposta. Pode encontrar aqui os detalhes sobre como medimos a latência. Relatamos os modelos…

HALC-Bench: LLM Alucinação em Benchmark de Recuperação de Longo Contexto

HALC-Bench (LLM Alucinação em Benchmark de Recuperação de Longo Contexto) mede a resistência de um modelo de linguagem grande a fabricar evidências para uma métrica que não existe no documento alvo usando 3 palheiros colocados no início, no meio e no final da janela de contexto do modelo, com 204 perguntas. claude-fable-5 respondeu corretamente a…

Densidade de Inteligência de 71 LLMs: Modelos Mais Inteligentes e Densos

Acompanhámos 71 LLMs lançados entre fevereiro de 2023 e maio de 2026 e recolhemos 10 benchmarks públicos para medir a densidade de inteligência. Dividimos a pontuação de capacidade pelo recurso que o modelo consome (parâmetros ativos, computação de treino e preço de inferência). Para calcular a densidade de inteligência, executámos os seguintes passos: Consulte a…

1 2 3