O modelo mais recente do AIM LLM Index é GPT-6.1 Terra.
AIM LLM Index
v1.10Um único índice transparente que combina 5 benchmarks públicos com as 4 avaliações agênticas, de RAG e de raciocínio empresarial da AIMultiple. Consulte AIM LLM Index Methodology para mais detalhes.
Classificação
Os modelos com maior pontuação em todos os benchmarks.
# | Modelo | Índice | AIM-Agentic-RAG | AIM-AI-Bias | AIM-FinanceReasoning | AIM-Text-to-SQL | CritPt | FrontierMath | MMMU-Pro | SciCode | Terminal-Bench 4.0 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 5.5 Anthropic | 78 | 90 | 94 | 92 | 88 | 32 | 95 | 88 | 67 | 60 |
| 2 | GPT-6 Astra OpenAI | 74 | 84 | 98 | 87 | 66 | 32 | 98 | 87 | 56 | 60 |
| 3 | GPT-6.1 Sol OpenAI | 74 | 81 | 98 | 90 | 65 | 32 | 100 | 86 | 56 | 56 |
| 4 | Claude Sonnet 5.5 Anthropic | 74 | 85 | 93 | 89 | 74 | 31 | 80 | 86 | 61 | 64 |
| 5 | Claude Fable 5.1 Anthropic | 74 | 84 | 98 | 90 | 67 | 31 | 88 | 86 | 63 | 55 |
| 6 | Gemini 4 Argon Google | 73 | 94 | 98 | 91 | 79 | 27 | 78 | - | 62 | 57 |
| 7 | GPT-6.1 Terra OpenAI | 71 | 84 | 95 | 87 | 57 | 28 | 93 | 85 | 55 | 56 |
| 8 | Muse Wonder Meta | 70 | 86 | 95 | 92 | 56 | 28 | 71 | 85 | 60 | 52 |
| 9 | GPT-6 Sol OpenAI | 70 | 82 | 96 | 89 | 54 | 31 | 90 | 83 | 58 | 44 |
| 10 | Kimi K3.1 Pro Moonshot AI | 69 | 85 | 91 | 90 | 52 | 25 | - | 84 | 61 | 67 |
AIM LLM Index Methodology
A pontuação de um modelo no índice é a média dos seus resultados nos benchmarks abaixo. Pontuações que já estão numa escala de 0-100 são usadas como estão; as outras são reescaladas para 0-100. Um benchmark em falta para um modelo é excluído em vez de contar como zero, e todos os benchmarks têm o mesmo peso. Um modelo precisa de ser pontuado em pelo menos 2 benchmarks da AIMultiple para entrar na classificação. Os resultados do MMMU-Pro vêm de 2 fontes distintas.
Benchmarks que usamos
Resultados brutos de 73.9 mil pontos de dados dos benchmarks da AIMultiple em que este índice se baseia. Baixe-os como um arquivo ZIP contendo 4 arquivos CSV e um README.
Quer os dados granulares por trás disso? Assine o Premium
Registro de alterações
62 atualizações- v1.10
2 modelos entraram no AIM LLM Index: DeepSeek V4.1 Flash 1017, Muse Spark Open.
- v1.10
113 modelos foram adicionados ao conjunto de dados: Claude 3 Haiku, Claude Opus 4.7 (max), Command A, DeepSeek R1 (Jan), DeepSeek R1 0528 Qwen3 8B e mais 108.
- v1.10
Qwen3.6 35B A3B foi adicionado ao conjunto de dados.
- v1.10
3 modelos entraram no AIM LLM Index: GPT-6.1 Terra, Kimi K3.1 Pro, MiniMax M3.1 Flash.
- v1.10
3 modelos foram adicionados ao conjunto de dados: GPT-6.1 Terra, Kimi K3.1 Pro, MiniMax M3.1 Flash.
- v1.10
2 modelos foram adicionados ao conjunto de dados: DeepSeek V4.1 Flash 1017, Muse Spark Open.
- v1.10
Muse Wonder entrou no AIM LLM Index.
- v1.10
Muse Wonder foi adicionado ao conjunto de dados.
- v1.10
Gemini 4 Argon entrou no AIM LLM Index.
- v1.10
Gemini 4 Argon foi adicionado ao conjunto de dados.
Explore Casos de uso, análises e benchmarks do LLM
- LLMBenchmark6 out
Grandes Modelos de Linguagem em Cibersegurança
Avaliamos 7 grandes modelos de linguagem em 9 domínios de cibersegurança usando o SecBench, um benchmark de grande escala e multiformato para tarefas de segurança. Testamos cada modelo em 44.823 perguntas de múltipla escolha (MCQs) e 3.087 perguntas de resposta curta (SAQs), abrangendo segurança de dados, gerenciamento de identidade e acesso, segurança de rede, gerenciamento…
- LLMAnálise21 set
LLM Calculadora de VRAM para Auto-Hospedagem
Auto-hospedar um LLM significa executar a inferência em hardware que o operador controla, em vez de via uma API de terceiros, o que altera o custo, o controle de dados e o perfil de privacidade. O fato de um modelo executar ou não depende da memória. A calculadora estima a VRAM ou memória unificada que…
- LLMBenchmark18 set
TI Agêntica: Podem os Agentes de IA Conceber um Benchmark
Testámos 16 models na conceção de um benchmark em text-to-SQL e chamada de ferramentas. Cada model criou um benchmark por tópico, num total de 32 submissões. Nenhuma submissão passou em todos os critérios da rubrica. Os agentes conseguiram criar e executar testes, mas nenhum demonstrou simultaneamente um teste de resposta em branco e um teste…
- LLMBenchmark17 set
AIM Enterprise: Benchmark Empresarial Agêntico
As empresas usam LLMs todos os dias para suas tarefas regulares. Para encontrar os LLMs com melhor custo-benefício, projetamos o AIM Enterprise, um benchmark empresarial agêntico, no qual usamos 69 tarefas empresariais reais em estratégia, marketing, RH, vendas e operações. Dois modelos juízes pontuaram cada arquivo que passou nas verificações. Em 32,7% das pontuações individuais,…
- LLMAnálise15 set
LLM Leis de Escala: Análise de Pesquisadores de IA
Large language models preveem o próximo token com base em padrões aprendidos a partir de dados de texto. O termo LLM leis de escala refere-se a regularidades empíricas que vinculam o desempenho do model à quantidade de computação, aos dados de treinamento e aos parâmetros do model usados durante o treinamento. Para entender como essas…
- LLMBenchmark15 set
Simulação de Audiência: LLMs Podem Prever o Comportamento Humano?
Em marketing, avaliar com que precisão os LLMs preveem o comportamento humano é crucial para avaliar sua eficácia em antecipar as necessidades do público e reconhecer os riscos de desalinhamento, comunicação ineficaz ou influência não intencional. A simulação de audiência com LLMs permite a modelagem de públicos virtuais, ajudando as organizações a antecipar reações a…
- LLMAnálise2 set
LLM Ferramentas de Observabilidade: Weights & Biases, Langsmith
Aplicações de LLM expandiram-se de chats de turno único para agentes de várias etapas que usam ferramentas, consultam bancos de dados e coordenam com outros modelos, tornando seu comportamento mais difícil de interpretar. A observabilidade de LLM fornece visibilidade contínua nesses fluxos de trabalho complexos, ajudando as organizações a monitorar a qualidade, detectar falhas, solucionar…
- LLMAnálise1 set
LLM Guia de Fine‑Tuning para Empresas
Siga os links para soluções específicas para seus desafios de saída de LLM. Se o seu LLM: A ampla adoção de large language models (LLMs) melhorou nossa capacidade de processar a linguagem humana. No entanto, seu treinamento genérico frequentemente resulta em desempenho abaixo do ideal para tarefas específicas. Para superar essa limitação, métodos de fine‑tuning…