Nous avons évalué 7 grands modèles de langage dans 9 domaines de la cybersécurité en utilisant SecBench, un benchmark à grande échelle et multi-format pour les tâches de sécurité.
Nous avons testé chaque modèle sur 44 823 questions à choix multiples (QCM) et 3 087 questions à réponse courte (QRC), couvrant des domaines tels que la sécurité des données, la gestion des identités et des accès, la sécurité réseau, la gestion des vulnérabilités et la sécurité du cloud.
LLM spécialisés en cybersécurité LLMs
Modèle | Date de sortie | Type de modèle | Focus de l'entraînement |
|---|---|---|---|
SecLLM | 2024 | Variante Code LLaMA | – Échantillons de code non sécurisé – Extraits de code liés aux CVE – Modèles d'exploitation |
LLM4Cyber | 2024 | LLM général affiné LLM | – MITRE ATT&CK – CVE – Flux de renseignement sur les menaces (CTI) |
LlamaGuard | 2024 | LLaMA aligné sur la sécurité | – Invites de filtre de sécurité – Application des politiques d'entrée/sortie – Gestion des invites adverses |
SecGPT | 2023 | LLM de style GPT LLM | – Textes de cybersécurité – Rapports CVE |
Cybersecurity-BERT | 2023 | BERT (encodeur uniquement) | – Rapports sur les logiciels malveillants – Descriptions de vulnérabilités – Documentation technique de sécurité |
LLM à usage général pour la cybersécurité LLMs
Ces grands modèles de langage ne sont pas entraînés uniquement sur des données de cybersécurité, mais peuvent néanmoins bien performer dans ce domaine lorsqu'ils sont sollicités correctement ou évalués sur des benchmarks comme SecBench.
Exemples :
- GPT-4 / GPT-4o
- DeepSeek-V3
- Mistral
- Qwen2 / Yi / LLaMA-3-Instruct
- Hunyuan-Turbo
Évaluation des performances des LLM dans les domaines de la cybersécurité LLM
Ce benchmark évalue 7 LLM généraux LLMs, incluant à la fois des modèles propriétaires (par ex. GPT-4) et des modèles open-source (par ex. DeepSeek, Mistral). Le benchmark couvre 9 sous-domaines de la cybersécurité, notamment :
- Sécurité des données
- Gestion des identités et des accès
- Sécurité des applications
- Sécurité réseau
- Normes de sécurité (et autres)
Les domaines de l'axe des x sont triés par performance des LLM, les domaines à faible score étant placés à gauche et ceux à score élevé à droite.
Benchmark des QCM (Questions à choix multiples) :
QRC (Questions à réponse courte) :
Source : Conception de SecBench1 Voir la méthodologie du benchmark.
Le rôle des LLM en cybersécurité LLMs
Les grands modèles de langage (LLMs) sont utilisés dans les opérations de cybersécurité pour extraire des informations exploitables à partir de sources non structurées telles que les rapports de renseignement sur les menaces, les journaux d'incidents, les bases de données CVE et les TTP des attaquants.
Les LLMs automatisent des tâches clés, notamment la classification des menaces, le résumé des alertes et la corrélation des indicateurs de compromission (IoC).
Lorsqu'ils sont affinés sur des données de cybersécurité, les grands modèles de langage peuvent détecter des anomalies dans les journaux, analyser les e-mails de phishing, prioriser les vulnérabilités et mapper les menaces à des cadres comme MITRE ATT&CK.
Applications des grands modèles de langage en cybersécurité
Renseignement sur les menaces
Co-pilote pour l'analyse contextuelle des menaces : Les outils pilotés par LLM comme CyLens soutiennent les analystes de sécurité tout au long du renseignement sur les menaces en analysant des rapports de menaces étendus avec des pipelines NLP modulaires et des filtres de corrélation d'entités.2
Renseignement proactif sur les menaces en temps réel : les systèmes intègrent des LLMs avec des cadres de génération augmentée par la récupération (RAG) pour ingérer des flux CTI continus (par ex. CVE) dans des bases de données vectorielles (comme Milvus), permettant une détection, un score et un raisonnement contextuels automatisés et à jour.3
Extraction de CTI basée sur les forums : les LLMs analysent des données non structurées provenant de forums de cybercriminalité pour extraire des indicateurs de menace clés à l'aide d'invites simples.4
Détection des vulnérabilités
Enrichissement des descriptions de vulnérabilités : Les LLMs tels que CVE-LLM enrichissent les descriptions de vulnérabilités en utilisant des ontologies de domaine, permettant un triage automatisé et l'intégration du score CVSS dans les systèmes de gestion de sécurité existants.5
Détection des vulnérabilités du système de fichiers Android : Étudie comment les LLMs peuvent détecter les vulnérabilités d'accès au système de fichiers dans les applications Android, y compris l'abus de permissions et le stockage non sécurisé.6
Affinage RL pour la détection des vulnérabilités : Applique l'apprentissage par renforcement (RL) pour affiner les LLMs (LLaMA 3B/8B, Qwen 2.5B) afin d'améliorer la précision dans l'identification des vulnérabilités logicielles.7
Anomalie détection et analyse des journaux
Détection sémantique des anomalies dans les journaux : Des cadres comme LogLLM utilisent des encodeurs/décodeurs LLM pour analyser et classer les entrées de journaux, améliorant la détection d'anomalies au-delà de la correspondance de motifs.8
Analyse des journaux avec des grands modèles de langage : L'analyse automatisée des LLM convertit les journaux non structurés en formats structurés via des approches basées sur des invites et affinées.9
Red teaming / prévention des attaques assistée par LLM
Pentesting et remédiation pilotés par LLM (penheal) : Automatise les tests d'intrusion en utilisant un pipeline à deux étapes ; d'abord l'identification des faiblesses de sécurité, puis la génération d'actions de remédiation en utilisant une configuration LLM personnalisée.10
Agent de red team local pour la sécurité interne (hackphyr) : Déploie localement un agent LLM de 7B affiné pour effectuer des tâches de red team telles que la simulation de mouvement latéral, la collecte d'identifiants et l'analyse des vulnérabilités dans les réseaux.11
Méthodologie du benchmark
SecBench est un benchmark à grande échelle et multidimensionnel pour évaluer les LLMs en cybersécurité à travers différentes tâches, domaines, langues et formats.
Dimensions d'évaluation
1. Raisonnement multi-niveaux :
- Rétention des connaissances (KR) : Questions testant des connaissances factuelles ou des définitions. Ceux-ci sont plus simples.
- Raisonnement logique (LR) : Questions nécessitant une inférence et une compréhension plus profonde. Ceux-ci sont plus difficiles et testent la capacité du modèle à raisonner en fonction du contexte.
2. Multi-format :
- QCM (Questions à choix multiples) : Format traditionnel où le modèle sélectionne parmi des réponses prédéfinies. Total de 44 823 questions.
- QRC (Questions à réponse courte) : Format ouvert nécessitant au modèle de générer sa réponse pour évaluer le raisonnement, la clarté et la résistance aux hallucinations. Total de 3 087 questions.
3. Multi-langue :
SecBench inclut des questions en chinois et en anglais.
4. Multi-domaine :
Les questions couvrent 9 domaines de la cybersécurité (D1–D9), notamment : gestion de la sécurité, sécurité des données, sécurité réseau, sécurité des applications, sécurité du cloud, et plus encore.
Évaluation
Les QCM sont notés en vérifiant si le modèle sélectionne le(s) bon(s) choix(s).
Les QRC sont notés à l'aide d'un GPT-4o mini « agent de notation », qui compare la réponse du modèle à la vérité terrain et attribue un score basé sur l'exactitude et l'exhaustivité.
Évaluation des performances des LLM : Par exemple, la sécurité réseau (D3) est évaluée en regroupant les questions pertinentes de son ensemble de données QCM de 44 823 questions.
La précision est mesurée en fonction des performances de chaque modèle, spécifiquement sur les questions étiquetées sous le domaine D3. Le pourcentage de score d'un modèle pour D3 reflète la proportion de questions de sécurité réseau auxquelles il a répondu correctement.
Citer cette recherche
Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{Grands modèles de langage en cybersécurité}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/llms-in-cybersecurity}},
note = {AIMultiple. Consulté le 5 Juin 2026}
}
Soyez le premier à commenter
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.