A-CODE-LLM Bench: Benchmark de Codificação Agêntica
Avaliamos os melhores Grandes Modelos de Linguagem (LLMs) em 10 tarefas de desenvolvimento de software usando uma ferramenta CLI agentiva. Executamos ~3.500 etapas de validação automatizadas por modelo, tanto na camada API quanto na de UI.
Resultados do A-CODE-LLM Bench
Cada alias foi executado 3 vezes em 10 tarefas (30 amostras por alias, 400 células por iteração em 40 aliases). Veja mais detalhes na metodologia.
- O Sonnet de nível médio supera o principal Opus. Ambas as versões do Sonnet pontuam mais do que todos os Opus, incluindo o Opus 4.8 (0.702). A camada mais cara da Anthropic não é a que melhor codifica.
- O topo não é mais exclusivo da Anthropic: Grok 4.5 (0.732) supera todas as variantes Opus. O novo carro-chefe da OpenAI, GPT 5.6 Sol, obtém a melhor pontuação da empresa (0.615), ainda 0.157 abaixo do Sonnet 5, e suas variantes pro de maior computação em sua maioria ficam abaixo de suas próprias bases (Sol Pro 0.543, Terra Pro 0.568; apenas Luna Pro melhora, 0.603 vs 0.579).
- Os especialistas em código não venceram o benchmark de codificação. GPT 5.3 Codex, a variante afinada para código da OpenAI, pontua 0.572, no meio do pelotão e abaixo do GPT 5.4 Mini geral da própria OpenAI (0.594). O Kimi K2.7 Code da Moonshot é o especialista mais forte, com 0.611.
- Kimi K3, um modelo geral, assume a liderança de pesos abertos sobre o especialista em código da própria Moonshot: 0.725, sexto no geral, 0.114 acima do K2.7 Code. Seu backend de 0.632 fica em quinto, acima de todos os aliases Opus e GPT.
- Inkling, o primeiro modelo da Thinking Machines, estreia com 0.575, terceiro entre as entradas de pesos abertos. Seu frontend de 0.747 supera todos os aliases GPT 5.6; o backend de 0.501 limita sua classificação.
- Nenhum modelo é confiável no backend: o teto é 0.701 (Sonnet 5), então mesmo o vencedor falha em cerca de um terço das verificações de lógica de negócio e contrato. Grok 4.5 é o que mais se aproxima entre as adições de julho, com 0.663. O frontend está quase resolvido entre os líderes (0.79 a 0.96), então o backend é o problema em aberto, e é ele que define a classificação. Claude Haiku 4.5 renderiza bem (0.731), mas um backend de 0.277 o limita a 0.413.
- O ponto fraco do GPT é o frontend. GPT 5.4 e 5.5 igualam o Opus 4.8 no backend (cerca de 0.6), mas pontuam de 0.53 a 0.55 no frontend; a família GPT 5.6 eleva isso para 0.63 a 0.71, ainda bem abaixo dos mais de 0.91 da linha Sonnet.
Comparação de custo e sucesso
- Os modelos com preço de carro-chefe têm o pior custo-benefício. Opus 4.7 é o mais caro ($3,08/célula) e pontua 0.610, abaixo do Sonnet 4.6 a $1,33.
- O topo cobra um prêmio alto por pouco ganho: Sonnet 5 pontua 0.024 acima do Sonnet 4.6 por 70% a mais de custo por célula.
- Grok 4.5 é o novo melhor custo-benefício: 0.732, a 0.040 do vencedor, a $0,46 por célula, contra $2,23 do Sonnet 5. Dentro da família GPT 5.6, o preço não compra nada: de $0,18 (Luna) a $2,76 (Sol Pro) por célula, para pontuações entre 0.543 e 0.615, com o alias mais barato superando o mais caro.
- Kimi K3 obtém sua sexta colocação a um preço intermediário: $1,47 por célula, próximo dos $1,33 do Sonnet 4.6, mas 0.007 acima na pontuação, e bem abaixo dos $2,23 do Sonnet 5. Inkling custa $1,64 por célula no preço de tabela por 0.575, mais caro que o Sonnet 4.6 por uma pontuação menor.
Comparação de tempo de conclusão da tarefa e sucesso
- A melhor pontuação está entre as mais lentas. Sonnet 5 leva cerca de 30 minutos por tarefa, 3x o tempo do Sonnet 4.6 por 0.024 a mais; o Sonnet 4.6 oferece quase a mesma pontuação em um terço do tempo.
- Uma execução longa geralmente sinaliza um modelo travado, não um meticuloso: os piores pontuadores, ambas as variantes Qwen, GLM 5.1 base e Deepseek V4 Pro, cada um rodou mais de 1.700 segundos por iteração excessiva, para pontuações abaixo de 0.45.
- Grok 4.3 foi rápido porque desistiu cedo: 142 segundos e 18 chamadas de ferramenta para 0.431. Grok 4.5 mantém a velocidade e abandona a desistência: cerca de 9 minutos por tarefa, menos de um terço do tempo do Sonnet 5, para 0.732.
- Kimi K3 fica no extremo oposto: pontuação de alto nível, pior velocidade. Em média, leva cerca de 55 minutos por tarefa, o mais lento do grupo e aproximadamente o dobro do Sonnet 5, para um sexto lugar com 0.725. Sua precisão é real, mas é o caminho menos prático para o topo.
Chamadas de ferramenta por tarefa
- A contagem de chamadas de ferramenta não mede capacidade nem esforço comparável. Sonnet 5 fez o maior número de chamadas (125) e pontuou mais alto; MiniMax M3 fez 108 para um 0.583 mediano; Grok 4.5 alcançou 0.732 com 40; os números baixos de 16 a 36 da OpenAI vêm do apply_patch, que agrupa um arquivo inteiro em uma única chamada. Sol Pro e Terra Pro fazem de um quarto a um terço menos chamadas que suas bases e pontuam menos: mais raciocínio, menos execução. Não classifique agentes pelo volume de ferramentas.
- Dois caminhos chegam à mesma pontuação: Sonnet 5 itera intensamente (125 chamadas), Sonnet 4.6 mal (50), com 0.024 de diferença.
Desempenho do LLM em uma única tarefa bem-sucedida
Nenhum modelo passou por todas as etapas do benchmark completo acima. Para comparar custo e velocidade em condições iguais, realizamos uma tarefa simples de linha de base que todos os modelos conseguem concluir: quatro endpoints CRUD, validação básica, sem autenticação e sem banco de dados.
Comparação de custo e linhas de código
- Tarefas simples não conseguem classificar modelos, portanto avaliações de brinquedo enganam. Na linha de base em que todos os modelos passam, o código converge para 40 a 64 linhas, e o custo cai para centavos; as diferenças aparecem apenas em trabalhos longos e com vários arquivos.
- A categoria “rápida e leve” foi a mais cara aqui: a base Gemini 3.5 Flash escreveu 131 linhas para a tarefa trivial, duas a três vezes mais que os demais, tornando-se a linha de base mais cara, contrariando seu próprio posicionamento.
- A iteração pesada do Sonnet 5 é orientada pela tarefa, não um hábito: 9 chamadas e $0,09 aqui, contra 125 chamadas no benchmark.
Veja mais detalhes no artigo LLM Pricing.
Tempo de conclusão e uso de tokens
- A previsibilidade de custo divide os modelos em dois. Modelos adaptativos gastam apenas quando necessário (Opus 4.8: 34s na linha de base, 1.072s no benchmark); modelos de ritmo fixo rodam de forma lenta e cara mesmo em trabalhos triviais (MiniMax M3: 475 vs 1.684s).
- O comprimento da saída é uma característica fixa do modelo, variando quase 10x para a mesma tarefa (787 a 7.508 tokens), alimentando diretamente o custo.
O que são sistemas LLM agentivos?
Desenvolver software é iterativo: escrever código, executá-lo, ler erros, corrigi-los, repetir. Sistemas de IA agentiva permitem que LLMs sigam esse mesmo ciclo. O modelo opera dentro de um ambiente de desenvolvimento onde pode escrever arquivos, executar comandos, ler saídas e fazer alterações com base no que vê, continuando até que a tarefa seja concluída.
Isso importa porque aplicações reais não são arquivos únicos. Elas têm backends com rotas e modelos de banco de dados, frontends com componentes e chamadas de API, arquivos de configuração, dependências e testes. Fazer tudo isso funcionar em conjunto exige testes e refinamentos iterativos, exatamente o que a arquitetura agentiva possibilita.
Como funciona
O modelo fica dentro de um harness com acesso a um shell, sistema de arquivos e saída de execução. Quando solicitado a construir uma aplicação, ele escreve arquivos incrementalmente. Após cada etapa, o harness mostra ao modelo o que aconteceu: o servidor iniciou? Os testes passaram? O linter sinalizou erros? Com base nesse feedback, o modelo decide o que escrever ou corrigir em seguida.
Isso difere fundamentalmente da geração em uma única tentativa. Em configurações de uma só vez, o modelo gera toda a base de código às cegas, sem como verificar se funciona. Em sistemas LLM agentivos, o modelo vê as consequências de cada ação e corrige o rumo. No entanto, apenas essa capacidade não é suficiente. O modelo ainda precisa de forte raciocínio para implementar a lógica de negócios corretamente, e é aí que realmente surgem as diferenças de desempenho.
Adicionar como fonte preferencialMetodologia do benchmark de LLM agentivo
Usamos o Opencode como harness de agente para todos os modelos e os conectamos por meio do OpenRouter, com duas exceções: Claude Fable 5 rodou no Claude Code CLI na assinatura do Claude, e o Inkling rodou através da API compatível com OpenAI da própria Thinking Machines, porque o modelo não está disponível no OpenRouter. Cada célula foi executada 3 vezes para medir a variância por célula e estabilizar o ranking. Avaliamos sua capacidade de trabalhar autonomamente em 10 tarefas de desenvolvimento de software (T-1 a T-10), que vão desde sistemas de reserva até painéis interativos. Essas tarefas exigem que os agentes gerenciem projetos com vários arquivos e entreguem produtos funcionais. Os sete aliases adicionados em julho de 2026 (Grok 4.5 e a família GPT 5.6: Sol, Terra, Luna, cada um nos modos base e pro) rodaram no Opencode 1.15.13 com configurações padrão da API, iguais às de todos os modelos aqui; os números de lançamento do Sol pela OpenAI usam modos de computação mais alta.1 Quatro células do Sol Pro e uma do Terra Pro terminaram em repetidas falhas silenciosas de stream da API, em vez de erros do modelo, e foram pontuadas como falhas.
Kimi K3 e Inkling foram adicionados em 18 de julho com configurações padrão da API; o Inkling rodou em seu esforço de pensamento padrão de 0.9. A coluna de custo do Inkling usa os preços de tabela da Thinking Machines de $3,74 por milhão de tokens de entrada e $9,36 por milhão de tokens de saída; o provedor cobrou cerca de metade disso com um desconto de lançamento por tempo limitado.2 Ambos os modelos rodaram com um limite de 150 minutos por célula em vez dos 45 minutos anteriores, porque o fluxo de tokens do Kimi K3 é lento o suficiente para atingir o limite mais curto durante a construção; o tempo de conclusão é relatado separadamente no gráfico de tempo. A capacidade upstream compartilhada do Kimi K3 retornou erros frequentes de limite de taxa e timeout durante a janela de execução; as células afetadas foram reexecutadas uma vez contra o mesmo limite, a mesma política aplicada às falhas de stream do Sol Pro e Terra Pro acima.
Execução e orquestração
Cada agente e tarefa começa em um ambiente limpo. As instruções são fornecidas como um arquivo TASK.md, e usamos um watchdog de heartbeat de 20 minutos para os scripts de inicialização. Durante essa fase, registramos códigos de saída, tempo de execução e se os arquivos de backend e frontend foram criados. Também rastreamos o uso de tokens em tempo real nas categorias de entrada, saída e cache.
Validação de backend: Implantamos os projetos gerados em ambientes isolados para testá-los contra um contrato YAML canônico. A validação cobre cenários do caminho feliz, tratamento de erros (400/403/409) e consistência de dados.
Testamos os resultados em dois modos:
O modo Adaptativo valida a funcionalidade mesmo com nomes de rota diferentes, enquanto o modo Estrito exige aderência exata ao contrato.
A pontuação geral do backend é calculada por célula como:
backend_overall = has_backend × (0.7 × adaptive_pass_rate + 0.3 × strict_pass_rate)
onde has_backend é 1 se a célula produziu um projeto de backend, 0 caso contrário. O modo Adaptativo tem peso maior porque mede a correção comportamental; o Estrito adiciona uma penalidade por desvio de contrato (rotas renomeadas, códigos de status substituídos, campos de resposta reestruturados).
Teste de UI e cenários de usuário
Usamos automação de navegador para simular fluxos reais de usuários, incluindo preflights, renderização e autenticação. Verificamos etapas funcionais como envio de login e comportamento pós-login para garantir que a aplicação rode sem travar.
A pontuação de UI divide oito etapas em dois grupos. Etapas de infraestrutura (preflight de backend, renderização de frontend, formulário de login visível, envio de login, login 2xx, sem falha em tempo de execução) medem se a aplicação funciona. Etapas de comportamento (sinal de autenticação pós-login, sinal de comportamento pós-login) avaliam se a aplicação executa a função pretendida uma vez em execução.
ui_score = (behavior_passed / (behavior_passed + behavior_failed)) × (infra_passed / infra_total)
Etapas de comportamento bloqueadas são excluídas do denominador de comportamento, para que uma célula não seja penalizada duplamente quando a aplicação falha ao carregar.
Cálculo de tokens
A contagem de tokens é extraída resposta da API do LLM. Subtraímos os tokens de entrada em cache do total de tokens de entrada para obter a entrada efetiva, que reflete apenas os tokens recém-processados. Os tokens de saída nunca são armazenados em cache, portanto permanecem inalterados.
Agregação final
A pontuação final do benchmark é calculada combinando os resultados das fases anteriores: Final Score = (0.7 × backend_overall) + (0.3 × ui_score). Atribuímos um peso maior ao backend porque falhas de lógica no nível da API muitas vezes invalidam qualquer sucesso no frontend.
Exemplo de tarefa
Tarefa 6: Sistema de tickets de helpdesk
A Tarefa 6 foca no desenvolvimento de um ecossistema complexo de suporte ao cliente. O objetivo principal é construir uma plataforma que medeie a comunicação entre clientes e agentes de suporte, aplicando rigorosamente regras de negócio e limites de segurança. Esta tarefa avalia a capacidade de um agente de lidar com máquinas de estado multiusuário, isolamento de dados e comunicação encadeada em um ambiente full-stack.
A tarefa exigiu a construção de um sistema de helpdesk com:
- Permissões distintas para Clientes (abertura/resposta) e Agentes (gerenciamento/resolução).
- Um fluxo de trabalho de status rígido que impede transições ilegais e impõe ações específicas de cada função.
- Isolamento avançado de dados em que solicitações de recursos não autorizados retornam 404 em vez de 403 para proteger a integridade do sistema.
- Um sistema de respostas cronológicas para interação contínua entre agente e cliente.
- Um backend FastAPI combinado com um frontend responsivo baseado em Vite (React/Vue/Svelte).
- Configuração reproduzível por meio de comandos shell específicos para ativação imediata do sistema.
Você pode visualizar a documentação da Tarefa 6 no GitHub.
Cite este benchmark
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{kalelioglu2026,
author = {Kalelioğlu, Berk and Dilmegani, Cem},
title = {{A-CODE-LLM Bench: Benchmark de Codificação Agêntica}},
year = {2026},
month = aug,
howpublished = {\url{https://aimultiple.com/agentic-llm}},
note = {AIMultiple. Acessado em 12 Agosto 2026}
}Resultados e carimbos de data/hora de 429 pontos de dados. Baixe os dados utilizados neste artigo como um arquivo ZIP contendo 2 arquivos CSV e um README.
Links de referência
O trabalho de Cem foi citado por publicações globais de destaque, incluindo Business Insider, Forbes, Washington Post, empresas globais como Deloitte, HPE e ONGs como o Fórum Econômico Mundial e organizações supranacionais como a Comissão Europeia.
Ao longo de sua carreira, Cem atuou como consultor de tecnologia, comprador de tecnologia e empreendedor de tecnologia. Ele aconselhou empresas em suas decisões de tecnologia na McKinsey & Company e na Altman Solon por mais de uma década. Ele também publicou um relatório da McKinsey sobre digitalização.
Ele liderou a estratégia de tecnologia e aquisições de uma empresa de telecomunicações, reportando-se ao CEO. Ele também liderou o crescimento comercial da empresa de tecnologia profunda Hypatos, que alcançou uma receita recorrente anual de 7 dígitos e uma avaliação de 9 dígitos partindo do zero em 2 anos. O trabalho de Cem na Hypatos foi coberto por publicações de tecnologia de destaque como TechCrunch e Business Insider.
Cem fala regularmente em conferências internacionais de tecnologia. Ele se formou na Universidade Bogazici como engenheiro de computação e possui um MBA pela Columbia Business School.
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.