Wir haben 7 große Sprachmodelle in 9 Cyberbereichen mit SecBench evaluiert, einem groß angelegten und mehrformatigen Benchmark für Sicherheitstasks.
Wir haben jedes Modell an 44.823 Multiple-Choice-Fragen (MCQs) und 3.087 Kurzantwort-Fragen (SAQs) getestet, die Bereiche wie Datensicherheit, Identitäts- und Zugriffsverwaltung, Netzwerksicherheit, Schwachstellenmanagement und Cloud-Sicherheit abdecken.
Spezialisierte Cybersicherheits-LLMs
Modell | Veröffentlichungsdatum | Modelltyp | Trainingsfokus |
|---|---|---|---|
SecLLM | 2024 | Code LLaMA-Variante | – Unsichere Codebeispiele – CVE-verknüpfte Code-Snippets – Exploit-Muster |
LLM4Cyber | 2024 | Feinabgestimmtes allgemeines LLM | – MITRE ATT&CK – CVE – Bedrohungsintelligenz-Feeds (CTI) |
LlamaGuard | 2024 | Sicherheitsausgerichtetes LLaMA | – Sicherheitsfilter-Prompts – Input/Output-Richtlinien-Durchsetzung – Behandlung adversarialer Prompts |
SecGPT | 2023 | GPT-artiges LLM | – Cybersicherheitstexte – CVE-Berichte |
Cybersecurity-BERT | 2023 | BERT (nur Encoder) | – Malware-Berichte – Schwachstellenbeschreibungen – Technische Sicherheitsdokumentation |
Allgemeine LLMs für die Cybersicherheit
Diese großen Sprachmodelle wurden nicht ausschließlich auf Cybersicherheitsdaten trainiert, können aber dennoch gut in diesem Bereich performen, wenn sie korrekt gepromptet oder an Benchmarks wie SecBench evaluiert werden.
Beispiele:
- GPT-4 / GPT-4o
- DeepSeek-V3
- Mistral
- Qwen2 / Yi / LLaMA-3-Instruct
- Hunyuan-Turbo
Benchmarking der LLM-Leistung in Cybersicherheitsbereichen
Dieser Benchmark evaluiert 7 allgemeine LLMs, einschließlich proprietärer (z. B. GPT-4) und Open-Source-Modelle (z. B. DeepSeek, Mistral). Der Benchmark umfasst 9 Cybersicherheits-Teilbereiche, darunter:
- Datensicherheit
- Identitäts- und Zugriffsverwaltung
- Anwendungssicherheit
- Netzwerksicherheit
- Sicherheitsstandards (und andere)
Die Domänen der x-Achse sind nach LLM-Leistung sortiert, wobei Domänen mit niedrigerer Punktzahl links und solche mit höherer Punktzahl rechts platziert sind.
Benchmarking von MCQs (Multiple-Choice-Fragen):
SAQs (Kurzantwort-Fragen):
Quelle: SecBench-Design1 Siehe Benchmark-Methodik.
Die Rolle von LLMs in der Cybersicherheit
LLM (LLMs) werden in Cybersicherheitsoperationen eingesetzt, um handlungsrelevante Erkenntnisse aus unstrukturierten Quellen wie Bedrohungsintelligenzberichten, Incident-Logs, CVE-Datenbanken und Angreifer-TTPs zu extrahieren.
LLMs automatisieren Schlüsselaufgaben, einschließlich Bedrohungsklassifizierung, Alert-Zusammenfassung und Korrelation von Indikatoren für Kompromittierungen (IOCs).
Wenn sie auf Cybersicherheitsdaten feinabgestimmt werden, können große Sprachmodelle Anomalien in Logs erkennen, Phishing-E-Mails analysieren, Schwachstellen priorisieren und Bedrohungen auf Frameworks wie MITRE ATT&CK abbilden.
Als bevorzugte Quelle hinzufügenAnwendungen großer Sprachmodelle in der Cybersicherheit
Bedrohungsintelligenz
Co-Pilot für kontextuelle Bedrohungsanalyse: LLM-gestützte Tools wie CyLens unterstützen Sicherheitsanalysten während der Bedrohungsintelligenz, indem sie umfangreiche Bedrohungsberichte mit modularen NLP-Pipelines und Entitätskorrelationsfiltern analysieren.2
Echtzeit-proaktive Bedrohungsintelligenz: Systeme integrieren LLMs mit Retrieval-Augmented Generation (RAG)-Frameworks, um kontinuierliche CTI-Feeds (z. B. CVE) in Vektordatenbanken (wie Milvus) einzuspeisen, was eine aktuelle automatische Erkennung, Bewertung und kontextuelle Reasoning ermöglicht.3
Forum-basierte CTI-Extraktion: LLMs analysieren unstrukturierte Daten aus Cybercrime-Foren, um mit einfachen Prompts wichtige Bedrohungsindikatoren zu extrahieren.4
Schwachstellenerkennung
Anreicherung von Schwachstellenbeschreibungen: LLMs wie CVE-LLM bereichern Schwachstellenbeschreibungen mithilfe von Domänenontologien und ermöglichen eine automatisierte Triage und CVSS-Bewertungsintegration in bestehende Sicherheitsmanagementsysteme.5
Android-Dateisystem-Schwachstellenerkennung: Untersucht, wie LLMs Dateisystemzugriffsschwachstellen in Android-Apps erkennen können, einschließlich Missbrauch von Berechtigungen und unsicherer Speicherung.6
RL-Fine-Tuning für Schwachstellenerkennung: Wendet Reinforcement Learning (RL) an, um LLMs (LLaMA 3B/8B, Qwen 2.5B) für eine verbesserte Genauigkeit bei der Identifizierung von Software-Schwachstellen feinabzustimmen.7
Anomalie-Erkennung & Log-Analyse
Semantische Log-Anomalie-Erkennung: Frameworks wie LogLLM nutzen LLM-Encoder/Decoder, um Log-Einträge zu parsen und zu klassifizieren, wodurch die Anomalie-Erkennung über das Muster-Matching hinaus verbessert wird.8
Log-Parsing mit großen Sprachmodellen: Automatisiertes LLM-Parsing wandelt unstrukturierte Logs über prompt-basierte und feinabgestimmte Ansätze in strukturierte Formate um.9
Red Teaming / LLM-unterstützte Angriffsverhinderung
LLM-gesteuertes Pentesting und Remediation (penheal): Automatisiert Penetrationstests mit einer zweistufigen Pipeline; zuerst Identifizierung von Sicherheitslücken, dann Generierung von Remediation-Aktionen mit einem benutzerdefinierten LLM-Setup.10
On-Prem-Red-Team-Agent für interne Sicherheit (hackphyr): Setzt einen feinabgestimmten 7B LLM-Agenten lokal ein, um Red-Team-Aufgaben wie Simulation lateraler Bewegung, Credential-Harvesting und Schwachstellenscans in Netzwerken durchzuführen.11
Benchmark-Methodik
SecBench ist ein groß angelegter, mehrdimensionaler Benchmark zur Evaluierung von LLMs in der Cybersicherheit in Bezug auf verschiedene Aufgaben, Domänen, Sprachen und Formate.
Evaluierungsdimensionen
1. Mehrstufiges Reasoning:
- Wissenserhalt (KR): Fragen, die faktisches Wissen oder Definitionen testen. Diese sind direkter.
- Logisches Reasoning (LR): Fragen, die Inferenz und tieferes Verständnis erfordern. Diese sind anspruchsvoller und testen die Fähigkeit des Modells, basierend auf Kontext zu reasoning.
2. Mehrformatig:
- MCQs (Multiple-Choice-Fragen): Traditionelles Format, bei dem das Modell aus vordefinierten Antworten auswählt. Insgesamt 44.823 Fragen.
- SAQs (Kurzantwort-Fragen): Offenes Format, bei dem das Modell seine Antwort generieren muss, um Reasoning, Klarheit und Halluzinationsresistenz zu bewerten. Insgesamt 3.087 Fragen.
3. Mehrsprachig:
SecBench enthält Fragen sowohl auf Chinesisch als auch auf Englisch.
4. Mehrdomänig:
Fragen umfassen 9 Cybersicherheitsdomänen (D1–D9), darunter: Sicherheitsmanagement, Datensicherheit, Netzwerksicherheit, Anwendungssicherheit, Cloud-Sicherheit und mehr.
Evaluierung
MCQs werden bewertet, indem geprüft wird, ob das Modell die richtige(n) Auswahlmöglichkeit(en) trifft.
SAQs werden mit einem GPT-4o mini „Bewertungs-Agent" bewertet, der die Antwort des Modells mit der Ground Truth vergleicht und basierend auf Genauigkeit und Vollständigkeit eine Punktzahl vergibt.
LLM-Leistungs-Evaluierung: Beispielsweise wird Netzwerksicherheit (D3) bewertet, indem relevante Fragen aus dem 44.823-Fragen-MCQ-Datensatz gruppiert werden.
Die Genauigkeit wird basierend auf der Leistung jedes Modells gemessen, speziell bei Fragen, die der D3-Domäne zugeordnet sind. Der prozentuale Score eines Modells für D3 spiegelt den Anteil der Netzwerksicherheitsfragen wider, die es korrekt beantwortet hat.
Diese Forschung zitieren
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{LLM in der Cybersicherheit}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/llms-in-cybersecurity}},
note = {AIMultiple. Abgerufen am 5. Juni 2026}
}Referenzlinks
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.