Grandes Modelos de Linguagem em Cibersegurança

Avaliamos 7 grandes modelos de linguagem em 9 domínios de cibersegurança usando o SecBench, um benchmark de grande escala e multiformato para tarefas de segurança.

Testamos cada modelo em 44.823 perguntas de múltipla escolha (MCQs) e 3.087 perguntas de resposta curta (SAQs), abrangendo segurança de dados, gerenciamento de identidade e acesso, segurança de rede, gerenciamento de vulnerabilidades e segurança em nuvem.

Benchmarking do desempenho do LLM em domínios de cibersegurança

Benchmarking de MCQs (perguntas de múltipla escolha):

SAQs (perguntas de resposta curta):

Este benchmark avalia 7 LLMs de uso geral, incluindo modelos proprietários (por exemplo, GPT-4) e de código aberto (por exemplo, DeepSeek, Mistral). O benchmark abrange 9 subáreas de cibersegurança, incluindo:

• Segurança de Dados
• Gerenciamento de Identidade e Acesso
• Segurança de Aplicações
• Segurança de Rede
• Padrões de Segurança

Os domínios do eixo x estão ordenados pelo desempenho do LLM, com os domínios de menor pontuação posicionados à esquerda e os de maior pontuação à direita.¹

Veja a metodologia de benchmark.

LLMs de cibersegurança especializados

O papel dos LLMs na cibersegurança

Grandes modelos de linguagem (LLMs) são usados em operações de cibersegurança para extrair insights acionáveis de fontes não estruturadas, como relatórios de inteligência de ameaças, logs de incidentes, bancos de dados de CVEs e TTPs de atacantes.

Os LLMs automatizam tarefas-chave, incluindo classificação de ameaças, resumo de alertas e correlação de indicadores de comprometimento (IOCs).

Quando submetidos a fine-tuning em dados de cibersegurança, os grandes modelos de linguagem podem detectar anomalias em logs, analisar e-mails de phishing, priorizar vulnerabilidades e mapear ameaças para frameworks como MITRE ATT&CK.

Aplicações dos grandes modelos de linguagem na cibersegurança

Inteligência de ameaças

• Copiloto para análise contextual de ameaças: Ferramentas baseadas em LLM, como o CyLens, apoiam os analistas de segurança em toda a inteligência de ameaças, analisando relatórios extensos de ameaças com pipelines modulares de PNL e filtros de correlação de entidades.²
• Inteligência de ameaças proativa em tempo real: os sistemas integram LLMs com frameworks de geração aumentada por recuperação (RAG) para ingerir feeds contínuos de CTI (por exemplo, CVE) em bancos de dados vetoriais (como o Milvus), permitindo detecção automatizada, pontuação e raciocínio contextual atualizados.³
• Extração de CTI baseada em fóruns: os LLMs analisam dados não estruturados de fóruns de cibercrime para extrair indicadores-chave de ameaças usando prompts simples.⁴

Detecção de vulnerabilidades

• Enriquecimento da descrição de vulnerabilidades: LLMs como o CVE‑LLM enriquecem as descrições de vulnerabilidades usando ontologias de domínio, permitindo triagem automatizada e integração de pontuação CVSS nos sistemas de gerenciamento de segurança existentes.⁵
• Detecção de vulnerabilidades no sistema de arquivos Android: Investiga como os LLMs podem detectar vulnerabilidades de acesso ao sistema de arquivos em aplicativos Android, incluindo abuso de permissões e armazenamento inseguro.⁶
• Fine-tuning por RL para detecção de vulnerabilidades: Aplica aprendizado por reforço (RL) para fazer fine-tuning de LLMs (LLaMA 3B/8B, Qwen 2.5B) para melhorar a precisão na identificação de vulnerabilidades de software.⁷

Detecção de Anomaly e análise de logs

• Detecção semântica de anomalias em logs: Frameworks como o LogLLM usam codificadores/decodificadores de LLM para analisar e classificar entradas de log, melhorando a detecção de anomalias além da correspondência de padrões.⁸
• Análise de logs com grandes modelos de linguagem: A análise automatizada com LLM converte logs não estruturados em formatos estruturados por meio de abordagens baseadas em prompts e com fine-tuning.⁹

Red teaming / prevenção de ataques assistida por LLM

• Pentesting e remediação orientados por LLM (penheal): Automatiza testes de penetração usando um pipeline de duas etapas; primeiro identifica pontos fracos de segurança e, em seguida, gera ações de remediação usando uma configuração personalizada de LLM.¹⁰
• Agente de red team local para segurança interna (hackphyr): Implementa localmente um agente LLM de 7B com fine-tuning para executar tarefas de red team, como simulação de movimentação lateral, coleta de credenciais e varredura de vulnerabilidades em redes.¹¹

Não perca os nossos benchmarks e insights baseados em dados. O botão abre o Google; selecionar a AIMultiple confirma que deseja ver a AIMultiple com mais frequência nos resultados de pesquisa do Google.

Adicionar como fonte preferencial

Metodologia de benchmark de LLMs em cibersegurança

O SecBench é um benchmark de grande escala e multidimensional para avaliar LLMs em cibersegurança em diferentes tarefas, domínios, idiomas e formatos.

Dimensões de avaliação

1. Raciocínio em vários níveis:

• Retenção de Conhecimento (KR): Perguntas que testam conhecimento factual ou definições. Essas são mais diretas.
  
• Raciocínio lógico (LR): Perguntas que exigem inferência e compreensão mais profunda. Essas são mais desafiadoras e testam a capacidade do modelo de raciocinar com base no contexto.

2. Multiformato:

• MCQs (perguntas de múltipla escolha): Formato tradicional em que o modelo seleciona entre respostas predefinidas. Total de 44.823 perguntas.
  
• SAQs (perguntas de resposta curta): Formato aberto que exige que o modelo gere sua resposta para avaliar raciocínio, clareza e resistência à alucinação. Total de 3.087 perguntas.

3. Multi-idioma:

O SecBench inclui perguntas em chinês e inglês.

4. Multidomínio:

As perguntas abrangem 9 domínios de cibersegurança (D1–D9), incluindo: gerenciamento de segurança, segurança de dados, segurança de rede, segurança de aplicações, segurança em nuvem e mais.

Avaliação

Os MCQs são avaliados verificando se o modelo seleciona a(s) escolha(s) correta(s).

As SAQs são avaliadas usando um GPT-4o mini “agente de avaliação”, que compara a resposta do modelo com a verdade fundamental e atribui uma pontuação com base na precisão e completude.

Avaliação de desempenho do LLM: Por exemplo, a Segurança de Rede (D3) é avaliada agrupando perguntas relevantes do seu dataset de MCQs de 44.823 perguntas.

A precisão é medida com base no desempenho de cada modelo, especificamente nas perguntas classificadas sob o domínio D3. A pontuação percentual de um modelo para D3 reflete a proporção de perguntas de segurança de rede que ele respondeu corretamente.

Cite este benchmark

Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Grandes Modelos de Linguagem em Cibersegurança}},
  year   = {2026},
  month  = sep,
  howpublished    = {\url{https://aimultiple.com/llms-in-cybersecurity}},
  note   = {AIMultiple. Acessado em 15 setembro 2026}
}

Registro de alterações

1 atualizações

2025

1. 3 dez

   Adicionados resultados de avaliação para 7 grandes modelos de linguagem em 9 domínios de cibersegurança na introdução.

Links de referência

1.

SecBench: A Comprehensive Multi-Dimensional Benchmarking Dataset for LLMs in Cybersecurity

2.

[2502.20791] CyLens: Towards Reinventing Cyber Threat Intelligence in the Paradigm of Agentic Large Language Models

3.

[2504.00428] LLM-Assisted Proactive Threat Intelligence for Automated Reasoning

4.

The Use of Large Language Models (LLM) for Cyber Threat Intelligence (CTI) in Cybercrime Forums

5.

CVE-LLM: Ontology-Assisted Automatic Vulnerability Evaluation Using Large Language Models

6.

Static Detection of Filesystem Vulnerabilities in Android Systems

7.

https://arxiv.org/pdf/2505.02079

8.

LogLLM: Log-based Anomaly Detection Using Large Language Models

9.

System Log Parsing with Large Language Models: A Review

10.

https://arxiv.org/pdf/2407.13267

11.

https://arxiv.org/pdf/2407.08991

Cem Dilmegani

Analista Principal

Siga-nos

Cem é o analista principal da AIMultiple desde 2017.

O trabalho de Cem na AIMultiple foi citado por publicações globais líderes, incluindo Business Insider, Forbes, Morning Brew e Washington Post, por empresas globais como Deloitte e HPE, ONGs como o World Economic Forum e organizações supranacionais como a European Commission. [1], [2], [3], [4], [5]

Ao longo de sua carreira, Cem atuou como consultor de tecnologia, comprador de tecnologia e empreendedor de tecnologia. Ele aconselhou empresas sobre suas decisões de tecnologia na McKinsey & Company e na Altman Solon por mais de uma década. Ele também publicou um relatório da McKinsey sobre digitalização.

Ele liderou a estratégia de tecnologia e as compras de uma operadora de telecomunicações, reportando-se ao CEO. Ele também liderou o crescimento comercial da empresa de deep tech Hypatos, que atingiu uma receita recorrente anual de 7 dígitos e uma avaliação de 9 dígitos partindo do zero em 2 anos. O trabalho de Cem na Hypatos foi coberto por publicações de tecnologia líderes como TechCrunch e Business Insider.

Cem fala regularmente em conferências internacionais de tecnologia. Ele se formou como engenheiro da computação pela Bogazici University e possui um MBA pela Columbia Business School.

Ver perfil completo

Seja o primeiro a comentar

Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.

Nome

Endereço de email

Comentário

0/450

Postar comentário