Large Language Models in der Cybersicherheit

Wir haben 7 Large Language Models über 9 Cybersicherheitsdomänen mit SecBench bewertet, einem groß angelegten und formatübergreifenden Benchmark für Sicherheitsaufgaben.

Wir haben jedes Modell mit 44.823 Multiple-Choice-Fragen (MCQs) und 3.087 Kurzantwortfragen (SAQs) getestet, die Datensicherheit, Identitäts- und Zugriffsverwaltung, Netzwerksicherheit, Schwachstellenmanagement und Cloud-Sicherheit abdecken.

Benchmarking der LLM-Leistung über Cybersicherheitsdomänen hinweg

MCQs (Multiple-Choice-Fragen) Benchmarking:

SAQs (Kurzantwortfragen):

Dieser Benchmark bewertet 7 allgemeine LLMs, einschließlich sowohl proprietärer (z. B. GPT-4) als auch Open-Source-Modelle (z. B. DeepSeek, Mistral). Der Benchmark umfasst 9 Cybersicherheits-Teilgebiete, darunter:

• Datensicherheit
• Identitäts- und Zugriffsverwaltung
• Anwendungssicherheit
• Netzwerksicherheit
• Sicherheitsstandards

Die Domänen auf der x-Achse sind nach LLM-Leistung sortiert, wobei Domänen mit geringerer Punktzahl links und solche mit höherer Punktzahl rechts angeordnet sind.¹

Siehe Benchmark-Methodik.

Spezialisierte Cybersicherheits-LLMs

Die Rolle von LLMs in der Cybersicherheit

Large Language Models (LLMs) werden in der Cybersicherheit eingesetzt, um umsetzbare Erkenntnisse aus unstrukturierten Quellen wie Bedrohungsinformationsberichten, Vorfallprotokollen, CVE-Datenbanken und Angreifer-TTPs zu gewinnen.

LLMs automatisieren Schlüsselaufgaben, darunter Bedrohungsklassifizierung, Warnungszusammenfassung und Korrelation von Kompromittierungsindikatoren (IOCs).

Wenn sie auf Cybersicherheitsdaten feinabgestimmt sind, können Large Language Models Anomalien in Protokollen erkennen, Phishing-E-Mails analysieren, Schwachstellen priorisieren und Bedrohungen Frameworks wie MITRE ATT&CK zuordnen.

Anwendungen von Large Language Models in der Cybersicherheit

Bedrohungsinformationen

• Co-Pilot für kontextbezogene Bedrohungsanalyse: LLM-gestützte Tools wie CyLens unterstützen Sicherheitsanalysten während der gesamten Bedrohungsinformationen, indem sie umfangreiche Bedrohungsberichte mit modularen NLP-Pipelines und Entitätskorrelationsfiltern analysieren.²
• Proaktive Echtzeit-Bedrohungsinformationen: Systeme integrieren LLMs mit Frameworks für Retrieval-Augmented Generation (RAG), um kontinuierliche CTI-Feeds (z. B. CVE) in Vektordatenbanken (wie Milvus) aufzunehmen, was eine aktuelle automatisierte Erkennung, Bewertung und kontextbezogenes Reasoning ermöglicht.³
• Forumbasierte CTI-Extraktion: LLMs analysieren unstrukturierte Daten aus Cybercrime-Foren, um mithilfe einfacher Prompts wichtige Bedrohungsindikatoren zu extrahieren.⁴

Schwachstellenerkennung

• Anreicherung von Schwachstellenbeschreibungen: LLMs wie CVE‑LLM reichern Schwachstellenbeschreibungen mithilfe von Domänenontologien an und ermöglichen automatisierte Triage und CVSS-Scoring-Integration in bestehende Sicherheitsmanagementsysteme.⁵
• Erkennung von Android-Dateisystem-Schwachstellen: Untersucht, wie LLMs Dateisystem-Zugriffsschwachstellen in Android-Apps erkennen können, einschließlich Berechtigungsmissbrauch und unsicherer Speicherung.⁶
• RL-Fine-Tuning zur Schwachstellenerkennung: Wendet Reinforcement Learning (RL) an, um LLMs (LLaMA 3B/8B, Qwen 2.5B) für eine verbesserte Genauigkeit bei der Identifizierung von Software-Schwachstellen zu fine-tunen.⁷

Anomaly-Erkennung & Protokollanalyse

• Semantische Anomalieerkennung in Protokollen: Frameworks wie LogLLM verwenden LLM-Encoder/-Decoder, um Protokolleinträge zu parsen und zu klassifizieren, und verbessern so die Anomalieerkennung über den Musterabgleich hinaus.⁸
• Log-Parsing mit Large Language Models: Automatisiertes LLM-Parsing wandelt unstrukturierte Protokolle in strukturierte Formate um – über promptbasierte und fine-tuned-Ansätze.⁹

Red Teaming / LLM-gestützte Angriffsprävention

• LLM-gesteuertes Pentesting und Remediation (penheal): Automatisiert Penetrationstests mithilfe einer zweistufigen Pipeline; identifiziert zuerst Sicherheitsschwächen und generiert dann mit einem benutzerdefinierten LLM-Setup Sanierungsmaßnahmen.¹⁰
• On-Prem-Red-Team-Agent für interne Sicherheit (hackphyr): Setzt einen fine-tuned 7B LLM-Agenten lokal ein, um Red-Team-Aufgaben wie Simulation lateraler Bewegung, Sammeln von Zugangsdaten und Schwachstellenscans in Netzwerken durchzuführen.¹¹

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

LLMs in der Cybersicherheit – Benchmark-Methodik

SecBench ist ein groß angelegter, mehrdimensionaler Benchmark zur Bewertung von LLMs in der Cybersicherheit über verschiedene Aufgaben, Domänen, Sprachen und Formate hinweg.

 Bewertungsdimensionen

1. Mehrstufiges Reasoning:

• Wissensspeicherung (KR): Fragen, die Faktenwissen oder Definitionen testen. Diese sind einfacher.
  
• Logisches Reasoning (LR): Fragen, die Inferenz und tieferes Verständnis erfordern. Diese sind anspruchsvoller und testen die Fähigkeit des Modells, basierend auf Kontext zu schlussfolgern.

2. Multiformat:

• MCQs (Multiple-Choice-Fragen): Traditionelles Format, bei dem das Modell aus vordefinierten Antworten auswählt. Insgesamt 44.823 Fragen.
  
• SAQs (Kurzantwortfragen): Offenes Format, bei dem das Modell seine Antwort generieren muss, um Reasoning, Klarheit und Halluzinationsresistenz zu bewerten. Insgesamt 3.087 Fragen.

3. Mehrsprachigkeit:

SecBench enthält Fragen sowohl auf Chinesisch als auch auf Englisch.

4. Multidomäne:

Die Fragen erstrecken sich über 9 Cybersicherheitsdomänen (D1–D9), darunter: Sicherheitsmanagement, Datensicherheit, Netzwerksicherheit, Anwendungssicherheit, Cloud-Sicherheit und mehr.

Evaluierung

MCQs werden bewertet, indem überprüft wird, ob das Modell die richtige(n) Antwort(en) auswählt.

SAQs werden mithilfe eines GPT-4o mini „Bewertungsagenten“ bewertet, der die Antwort des Modells mit der Ground Truth vergleicht und eine Punktzahl basierend auf Genauigkeit und Vollständigkeit vergibt.

LLM-Leistungsevaluierung: Beispielsweise wird Netzwerksicherheit (D3) bewertet, indem relevante Fragen aus seinem MCQ-Datensatz mit 44.823 Fragen gruppiert werden.

Die Genauigkeit wird anhand der Leistung jedes Modells gemessen, insbesondere bei Fragen, die der Domäne D3 zugeordnet sind. Der prozentuale D3-Score eines Modells spiegelt den Anteil der Netzwerksicherheitsfragen wider, die es korrekt beantwortet hat.

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Large Language Models in der Cybersicherheit}},
  year   = {2026},
  month  = sep,
  howpublished    = {\url{https://aimultiple.com/llms-in-cybersecurity}},
  note   = {AIMultiple. Abgerufen am 15. September 2026}
}

Änderungsprotokoll

1 Aktualisierungen

2025

1. 3. Dez

   Evaluierungsergebnisse für 7 große Sprachmodelle in 9 Cybersicherheitsdomänen im Einführungsteil hinzugefügt.

Referenzlinks

1.

SecBench: A Comprehensive Multi-Dimensional Benchmarking Dataset for LLMs in Cybersecurity

2.

[2502.20791] CyLens: Towards Reinventing Cyber Threat Intelligence in the Paradigm of Agentic Large Language Models

3.

[2504.00428] LLM-Assisted Proactive Threat Intelligence for Automated Reasoning

4.

The Use of Large Language Models (LLM) for Cyber Threat Intelligence (CTI) in Cybercrime Forums

5.

CVE-LLM: Ontology-Assisted Automatic Vulnerability Evaluation Using Large Language Models

6.

Static Detection of Filesystem Vulnerabilities in Android Systems

7.

https://arxiv.org/pdf/2505.02079

8.

LogLLM: Log-based Anomaly Detection Using Large Language Models

9.

System Log Parsing with Large Language Models: A Review

10.

https://arxiv.org/pdf/2407.13267

11.

https://arxiv.org/pdf/2407.08991

Cem Dilmegani

Leitender Analyst

Folgen auf

Cem ist seit 2017 leitender Analyst bei AIMultiple.

Cems Arbeit bei AIMultiple wurde von führenden globalen Publikationen wie Business Insider, Forbes, Morning Brew und Washington Post, von globalen Unternehmen wie Deloitte und HPE, von NGOs wie dem World Economic Forum und von supranationalen Organisationen wie der European Commission zitiert. [1], [2], [3], [4], [5]

Im Laufe seiner Karriere war Cem als Tech-Berater, Tech-Einkäufer und Tech-Unternehmer tätig. Er beriet Unternehmen bei ihren Technologieentscheidungen bei McKinsey & Company und Altman Solon über mehr als ein Jahrzehnt. Er veröffentlichte außerdem einen McKinsey-Bericht zur Digitalisierung.

Er leitete Technologiestrategie und -beschaffung eines Telekommunikationsunternehmens und berichtete dabei direkt an den CEO. Außerdem verantwortete er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos, das innerhalb von zwei Jahren von 0 einen siebenstelligen jährlich wiederkehrenden Umsatz und eine neunstellige Bewertung erreichte. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider aufgegriffen.

Cem spricht regelmäßig auf internationalen Technologiekonferenzen. Er absolvierte die Bogazici University als Computeringenieur und hat einen MBA von der Columbia Business School.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten