Large Language Models en cybersécurité

Nous avons évalué 7 large language models dans 9 domaines de cybersécurité à l’aide de SecBench, un benchmark à grande échelle et multi-format pour les tâches de sécurité.

Nous avons testé chaque model sur 44 823 questions à choix multiples (MCQs) et 3 087 questions à réponse courte (SAQs), couvrant la sécurité des données, la gestion des identités et des accès, la sécurité réseau, la gestion des vulnérabilités et la sécurité du cloud.

Benchmark des performances des LLM dans les domaines de la cybersécurité 

MCQs (Questions à Choix Multiples) benchmarking :

SAQs (Questions à Réponse Courte) :

Ce benchmark évalue 7 LLMs généralistes, y compris à la fois des models propriétaires (par ex., GPT-4) et des models open source (par ex., DeepSeek, Mistral). Le benchmark couvre 9 sous-domaines de la cybersécurité, notamment :

• Sécurité des données
• Gestion des identités et des accès
• Sécurité des applications
• Sécurité réseau
• Normes de sécurité

Les domaines de l’axe des x sont triés selon les performances des LLM, les domaines les moins performants étant placés vers la gauche et les plus performants vers la droite.¹

Voir la méthodologie du benchmark.

LLMs spécialisés en cybersécurité

Le rôle des LLMs dans la cybersécurité

Les Large Language Models (LLMs) sont utilisés dans les opérations de cybersécurité pour extraire des informations exploitables de sources non structurées telles que les rapports de renseignement sur les menaces, les journaux d’incidents, les bases de données CVE et les TTP des attaquants.

Les LLMs automatisent des tâches clés, notamment la classification des menaces, la synthèse des alertes et la corrélation des indicateurs de compromission (IOC). 

Lorsqu’ils sont fine-tunés sur des données de cybersécurité, les Large Language Models peuvent détecter des anomalies dans les journaux, analyser les e-mails de phishing, hiérarchiser les vulnérabilités et mapper les menaces à des frameworks comme MITRE ATT&CK.

Applications des Large Language Models dans la cybersécurité

Renseignement sur les menaces

• Copilote pour l’analyse contextuelle des menaces : Les outils basés sur les LLM comme CyLens aident les analystes de sécurité tout au long du renseignement sur les menaces en analysant de nombreux rapports de menaces grâce à des pipelines NLP modulaires et des filtres de corrélation d’entités.²
• Renseignement sur les menaces proactif en temps réel : les systèmes intègrent les LLMs aux frameworks de génération augmentée par récupération (RAG) pour ingérer des flux CTI continus (par ex., CVE) dans des bases de données vectorielles (comme Milvus), permettant une détection, une notation et un raisonnement contextuel automatisés à jour.³
• Extraction de CTI basée sur les forums : les LLMs analysent les données non structurées des forums de cybercriminalité pour extraire des indicateurs de menace clés à l’aide de prompts simples.⁴

Détection de vulnérabilités

• Enrichissement des descriptions de vulnérabilités : Les LLMs tels que CVE-LLM enrichissent les descriptions de vulnérabilités à l’aide d’ontologies de domaine, permettant un triage automatisé et l’intégration de la notation CVSS dans les systèmes de gestion de sécurité existants.⁵
• Détection de vulnérabilités du système de fichiers Android : Étudie comment les LLMs peuvent détecter les vulnérabilités d’accès au système de fichiers dans les applications Android, notamment les abus de permissions et le stockage non sécurisé.⁶
• Fine-tuning par RL pour la détection de vulnérabilités : Applique l’apprentissage par renforcement (RL) pour fine-tuner les LLMs (LLaMA 3B/8B, Qwen 2.5B) afin d’améliorer la précision de l’identification des vulnérabilités logicielles.⁷

Détection d’Anomaly & analyse des logs

• Détection d’anomalies sémantique des logs : Des frameworks comme LogLLM utilisent des encodeurs/décodeurs LLM pour analyser et classer les entrées de logs, améliorant la détection d’anomalies au-delà de la correspondance de motifs.⁸
• Analyse des logs avec les Large Language Models : L’analyse automatisée par LLM convertit les logs non structurés en formats structurés via des approches basées sur des prompts et fine-tunées.⁹

Red teaming / prévention des attaques assistée par LLM

• Pentest et remédiation pilotés par LLM (penheal) : Automatise les tests d’intrusion à l’aide d’un pipeline en deux étapes ; d’abord l’identification des faiblesses de sécurité, puis la génération d’actions de remédiation à l’aide d’une configuration LLM personnalisée.¹⁰
• Agent red team sur site pour la sécurité interne (hackphyr) : Déploie localement un agent 7B LLM fine-tuné pour effectuer des tâches red team telles que la simulation de déplacement latéral, la collecte d’identifiants et l’analyse des vulnérabilités dans les réseaux.¹¹

Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.

Ajouter comme source préférée

Méthodologie du benchmark des LLMs en cybersécurité

SecBench est un benchmark multidimensionnel à grande échelle pour l’évaluation des LLMs en cybersécurité à travers différentes tâches, domaines, langues et formats.

Dimensions d’évaluation

1. Raisonnement multi-niveaux :

• Rétention des connaissances (KR) : Questions qui testent des connaissances factuelles ou des définitions. Elles sont plus simples.
  
• Raisonnement logique (LR) : Questions qui nécessitent une inférence et une compréhension approfondie. Elles sont plus difficiles et testent la capacité du model à raisonner en fonction du contexte.

2. Multi-format :

• MCQs (Questions à Choix Multiples) : Format traditionnel où le model sélectionne parmi des réponses prédéfinies. Total de 44 823 questions.
  
• SAQs (Questions à Réponse Courte) : Format ouvert exigeant que le model génère sa réponse pour évaluer le raisonnement, la clarté et la résistance aux hallucinations. Total de 3 087 questions.

3. Multi-langue :

SecBench comprend des questions en chinois et en anglais.

4. Multi-domaine :

Les questions couvrent 9 domaines de cybersécurité (D1–D9), notamment : la gestion de la sécurité, la sécurité des données, la sécurité réseau, la sécurité des applications, la sécurité du cloud, et plus encore.

Évaluation

Les MCQs sont notés en vérifiant si le model sélectionne le(s) bon(s) choix.

Les SAQs sont notés à l’aide d’un GPT-4o mini « agent de notation », qui compare la réponse du model à la vérité terrain et attribue un score en fonction de l’exactitude et de l’exhaustivité.

Évaluation des performances des LLM : Par exemple, la sécurité réseau (D3) est évaluée en regroupant les questions pertinentes de son dataset de 44 823 questions MCQs.

La précision est mesurée sur la base des performances de chaque model, en particulier sur les questions étiquetées sous le domaine D3. Le score en pourcentage d’un model pour D3 reflète la proportion de questions de sécurité réseau auxquelles il a répondu correctement.

Citez ce benchmark

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Large Language Models en cybersécurité}},
  year   = {2026},
  month  = sep,
  howpublished    = {\url{https://aimultiple.com/llms-in-cybersecurity}},
  note   = {AIMultiple. Consulté le 15 septembre 2026}
}

Journal des modifications

1 mises à jour

2025

1. 3 déc

   Ajout des résultats d'évaluation pour 7 grands modèles linguistiques dans 9 domaines de cybersécurité dans l'introduction.

Liens de référence

1.

SecBench: A Comprehensive Multi-Dimensional Benchmarking Dataset for LLMs in Cybersecurity

2.

[2502.20791] CyLens: Towards Reinventing Cyber Threat Intelligence in the Paradigm of Agentic Large Language Models

3.

[2504.00428] LLM-Assisted Proactive Threat Intelligence for Automated Reasoning

4.

The Use of Large Language Models (LLM) for Cyber Threat Intelligence (CTI) in Cybercrime Forums

5.

CVE-LLM: Ontology-Assisted Automatic Vulnerability Evaluation Using Large Language Models

6.

Static Detection of Filesystem Vulnerabilities in Android Systems

7.

https://arxiv.org/pdf/2505.02079

8.

LogLLM: Log-based Anomaly Detection Using Large Language Models

9.

System Log Parsing with Large Language Models: A Review

10.

https://arxiv.org/pdf/2407.13267

11.

https://arxiv.org/pdf/2407.08991

Cem Dilmegani

Analyste principal

Suivre

Cem est analyste principal chez AIMultiple depuis 2017.

Le travail de Cem chez AIMultiple a été cité par des publications mondiales de premier plan, notamment Business Insider, Forbes, Morning Brew et Washington Post, par des entreprises mondiales comme Deloitte et HPE, par des ONG comme World Economic Forum et par des organisations supranationales comme European Commission. [1], [2], [3], [4], [5]

Tout au long de sa carrière, Cem a été consultant en technologies, acheteur de technologies et entrepreneur technologique. Il a conseillé des entreprises sur leurs décisions technologiques chez McKinsey & Company et Altman Solon pendant plus de dix ans. Il a également publié un rapport McKinsey sur la digitalisation.

Il a dirigé la stratégie technologique et les achats d'un opérateur télécom, sous la responsabilité du PDG. Il a également dirigé la croissance commerciale de l'entreprise de technologie profonde Hypatos, qui a atteint un revenu récurrent annuel à 7 chiffres et une valorisation à 9 chiffres, passant de 0 à ce résultat en deux ans. Le travail de Cem chez Hypatos a été couvert par des publications technologiques de premier plan comme TechCrunch et Business Insider.

Cem intervient régulièrement lors de conférences technologiques internationales. Il est diplômé de Bogazici University en tant qu'ingénieur informatique et titulaire d'un MBA de la Columbia Business School.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire