Benchmarks de LLM

ARC-AGI-1Raciocinio abstrato com poucos exemplos sobre transformacoes de grades; o primeiro benchmark do ARC Prize.

ARC-AGI-2Novos quebra-cabeças de raciocínio visual que testam a generalização, não a memorização.

ArxivMathProblemas matematicos recentes do arXiv, executados logo apos a publicacao para limitar a contaminacao.

BioMysteryBenchBenchmark da Anthropic sobre se agentes conseguem resolver misterios reais de bioinformatica a partir de dados brutos.

CritPtProblemas de fisica de nivel de pesquisa que exigem derivacoes em varias etapas.

AIMultiple

FinanceReasoningRaciocínio financeiro complexo de várias etapas em 238 perguntas difíceis do FinanceReasoning.

Frontier-BenchTarefas de software agenticas em repositorios de fronteira, pontuadas por taxa de resolucao.

FrontierMathProblemas de matemática de pesquisa inéditos, escritos por especialistas (níveis 1–4).

LegalBenchRaciocínio jurídico colaborativo em 162 tarefas criadas por profissionais do direito.

MMMU-ProCompreensao multimodal de nivel universitario entre disciplinas, endurecida contra atalhos apenas textuais.

Terminal-Bench 2.1Tarefas agenticas de terminal em engenharia de software, dados e administracao de sistemas.

Terminal-Bench HardO subconjunto dificil do Terminal-Bench: tarefas de software em varias etapas resolvidas num terminal real.

Terminal-Bench-ScienceTarefas de terminal extraidas de fluxos reais de computacao cientifica.

AIMultiple

Text-to-SQLPrecisão na geração de consultas SQL a partir de linguagem natural em mais de 35 LLMs.

Atualizações recentes

Últimas alterações no Índice de Inteligência, na cobertura de modelos e na metodologia de benchmarks da AIMultiple.

2 set. 2026

Google

Gemini 3.8 Flash

Novo modelo adicionado ao Índice de Inteligência da AIMultiple.

1 set. 2026

Anthropic

Claude Fable 5.1

Novo modelo adicionado ao Índice de Inteligência da AIMultiple.

28 ago. 2026

Tencent

Hy4 preview

Novo modelo adicionado ao Índice de Inteligência da AIMultiple.

26 ago. 2026

Z AI

GLM 5.3 Flash

Novo modelo adicionado ao Índice de Inteligência da AIMultiple.

Cronologia de lançamentos de modelos de IAÚltimos 12 modelos em 23 dias

Principais lançamentos de modelos de IA dos fornecedores líderes nos últimos 23 dias.

OpenAI

04 Set 2026

GPT-6 Astra +1 maisGPT-6 AstraGPT-6 Astra Pro

Google

02 Set 2026

Gemini 3.8 Flash

Explore Casos de uso, análises e benchmarks do LLM

Compare 9 grandes modelos de linguagem na saúde

Comparação de Recursos

4 Set

Avaliamos 9 LLMs usando o dataset MedQA, um benchmark de exame clínico de nível de pós-graduação derivado das perguntas do USMLE. Cada modelo respondeu aos mesmos cenários clínicos de múltipla escolha usando um prompt padronizado, permitindo a comparação direta da precisão. Também registramos a latência por pergunta dividindo o tempo total de execução pelo número…

Modelos Multimodais Grandes (LMMs) vs LLMs

Avaliamos o desempenho de Modelos Multimodais Grandes (LMMs) em tarefas de raciocínio financeiro usando um dataset cuidadosamente selecionado. Ao analisar um subconjunto de amostras financeiras de alta qualidade, avaliamos as capacidades dos modelos no processamento e raciocínio com dados multimodais no domínio financeiro. A seção de metodologia fornece percepções detalhadas sobre o dataset e o…

2 Set

Leis de Escala de LLM: Análise de Pesquisadores de IA

Grandes models de linguagem preveem o próximo token com base em padrões aprendidos a partir de dados de texto. O termo LLM leis de escala refere-se a regularidades empíricas que vinculam o desempenho do model à quantidade de computação, dados de treinamento e parâmetros do model usados durante o treinamento. Para entender como essas relações…

2 Set

LLM Ferramentas de Observabilidade: Weights & Biases, Langsmith

Aplicações de LLM expandiram-se de chats de turno único para agentes de várias etapas que usam ferramentas, consultam bancos de dados e coordenam com outros modelos, tornando seu comportamento mais difícil de interpretar. A observabilidade de LLM fornece visibilidade contínua nesses fluxos de trabalho complexos, ajudando as organizações a monitorar a qualidade, detectar falhas, solucionar…

Comparação de Recursos

2 Set

Cloud LLM vs Local LLMs: Exemplos & Benefícios

Os LLMs na nuvem, alimentados por modelos avançados como GPT-5.5 e Claude Opus 4.7, oferecem escalabilidade e acessibilidade. Por outro lado, os LLMs locais, impulsionados por modelos de código aberto como Llama 4, DeepSeek V4 e Qwen3.6-Plus, garantem maior privacidade e personalização. Explore o que são LLMs na nuvem, pontos fortes e fracos, estudos de…

Benchmark

Simulação de Audiência: LLMs Podem Prever o Comportamento Humano?

Em marketing, avaliar com que precisão os LLMs preveem o comportamento humano é crucial para avaliar sua eficácia em antecipar as necessidades do público e reconhecer os riscos de desalinhamento, comunicação ineficaz ou influência não intencional. A simulação de audiência com LLMs permite a modelagem de públicos virtuais, ajudando as organizações a antecipar reações a…

LLM Guia de Fine‑Tuning para Empresas

Siga os links para soluções específicas para seus desafios de saída de LLM. Se o seu LLM: A ampla adoção de large language models (LLMs) melhorou nossa capacidade de processar a linguagem humana. No entanto, seu treinamento genérico frequentemente resulta em desempenho abaixo do ideal para tarefas específicas. Para superar essa limitação, métodos de fine‑tuning…

LLM Participação de Mercado: Compare Uso e Adoção

Analisámos a participação de mercado dos LLMs combinando dados baseados em uso e estimativas de visitas web para mostrar como a procura por grandes modelos de linguagem está distribuída pelos laboratórios de IA e aplicações de IA: Leia a metodologia para ver como medimos e calculámos estes resultados. Os Estados Unidos dominaram as visitas web…

10+ Exemplos de Grandes Modelos de Linguagem

Reunimos benchmarks de código aberto para comparar os principais grandes modelos de linguagem proprietários e de código aberto. Escolha o seu caso de uso para encontrar o modelo certo. Você pode avaliar grandes modelos de linguagem examinando o seu desempenho em benchmarks e a latência no mundo real (disponível ao clicar no nome de cada…

31 Ago

LLM Calculadora de VRAM para Auto-Hospedagem

Auto-hospedar um LLM significa executar a inferência em hardware que o operador controla, em vez de via uma API de terceiros, o que altera o custo, o controle de dados e o perfil de privacidade. O fato de um modelo executar ou não depende da memória. A calculadora estima a VRAM ou memória unificada que…