Siber Güvenlikte Büyük Dil Model'leri

7 büyük dil model'ini 9 siber güvenlik alanında, güvenlik görevleri için geniş ölçekli ve çok formatlı bir kıyaslama olan SecBench'i kullanarak değerlendirdik.

Her model'i, veri güvenliği, kimlik ve erişim yönetimi, ağ güvenliği, zafiyet yönetimi ve bulut güvenliğini kapsayacak şekilde 44.823 çoktan seçmeli soru (MCQ) ve 3.087 kısa yanıtlı soru (SAQ) üzerinde test ettik.

Siber güvenlik alanlarında LLM performansını kıyaslama

MCQ'lar (Çoktan Seçmeli Sorular) kıyaslaması:

SAQ'lar (Kısa Yanıtlı Sorular):

Bu kıyaslama, hem özel mülk (ör. GPT-4) hem de açık kaynak model'leri (ör. DeepSeek, Mistral) içeren 7 genel LLM'i değerlendirir. Kıyaslama 9 siber güvenlik alt alanını kapsar:

• Veri Güvenliği
• Kimlik ve Erişim Yönetimi
• Uygulama Güvenliği
• Ağ Güvenliği
• Güvenlik Standartları

X eksenindeki alanlar, düşük puanlı alanlar sola, yüksek puanlı alanlar sağa gelecek şekilde LLM performansına göre sıralanmıştır.¹

Bkz. kıyaslama metodolojisi.

Uzmanlaşmış siber güvenlik LLM'leri

Siber güvenlikte LLM'lerin rolü

Büyük dil model'leri (LLM'ler), tehdit istihbarat raporları, olay logları, CVE veritabanları ve saldırgan TTP'leri gibi yapılandırılmamış kaynaklardan eyleme dönük içgörüler çıkarmak için siber güvenlik operasyonlarında kullanılır.

LLM'ler, tehdit sınıflandırma, uyarı özetleme ve güvenlik ihlali göstergelerinin (IOC'ler) ilişkilendirilmesi dahil olmak üzere önemli görevleri otomatikleştirir.

Siber güvenlik verileri üzerinde fine-tuned edildiğinde, büyük dil model'leri loglardaki anomalileri algılayabilir, oltalama e-postalarını analiz edebilir, zafiyetleri önceliklendirebilir ve tehditleri MITRE ATT&CK gibi framework'lere eşleyebilir.

Siber güvenlikte büyük dil model'lerinin uygulamaları

Tehdit istihbaratı

• Bağlamsal tehdit analizi için yardımcı pilot: LLM destekli CyLens gibi araçlar, kapsamlı tehdit raporlarını modüler NLP pipeline'ları ve varlık ilişkilendirme filtreleriyle analiz ederek güvenlik analistlerine tehdit istihbaratı sürecinde destek olur.²
• Gerçek zamanlı proaktif tehdit istihbaratı: sistemler, sürekli CTI akışlarını (ör. CVE) vektör veritabanlarına (Milvus gibi) almak için LLM'leri retrieval‑augmented generation (RAG) framework'leriyle entegre eder; böylece güncel otomatik algılama, puanlama ve bağlamsal akıl yürütme sağlar.³
• Forum tabanlı CTI çıkarımı: LLM'ler, basit prompt'lar kullanarak temel tehdit göstergelerini çıkarmak için siber suç forumlarındaki yapılandırılmamış verileri analiz eder.⁴

Zafiyet tespiti

• Zafiyet açıklaması zenginleştirme: LLM'ler, CVE‑LLM gibi, etki alanı ontolojilerini kullanarak zafiyet açıklamalarını zenginleştirir; böylece mevcut güvenlik yönetim sistemlerinde otomatik triaj ve CVSS puanlama entegrasyonunu sağlar.⁵
• Android dosya sistemi zafiyet tespiti: LLM'lerin Android uygulamalarındaki dosya sistemi erişim zafiyetlerini, izin kötüye kullanımı ve güvensiz depolama dahil olmak üzere nasıl tespit edebileceğini inceler.⁶
• Zafiyet tespiti için RL fine-tuning: Yazılım zafiyetlerini belirlemede doğruluğu artırmak için LLM'lere (LLaMA 3B/8B, Qwen 2.5B) pekiştirmeli öğrenme (RL) ile fine-tune uygular.⁷

Anomaly tespiti ve log analizi

• Anlamsal log anomalisi tespiti: LogLLM gibi framework'ler, log kayıtlarını ayrıştırmak ve sınıflandırmak için LLM encoder/decoder'larını kullanır; bu da anomali tespitini örüntü eşleştirmenin ötesine taşır.⁸
• Büyük dil model'leriyle log ayrıştırma: Otomatik LLM ayrıştırma, prompt tabanlı ve fine-tuned yaklaşımlarla yapılandırılmamış logları yapılandırılmış formatlara dönüştürür.⁹

Red teaming / LLM destekli saldırı önleme

• LLM odaklı sızma testi ve iyileştirme (penheal): İki aşamalı bir pipeline kullanarak sızma testini otomatikleştirir; önce güvenlik zafiyetlerini belirler, ardından özel bir LLM kurulumuyla iyileştirme eylemleri üretir.¹⁰
• İç güvenlik için şirket içi red team ajanı (hackphyr): Ağ içinde yatay hareket simülasyonu, kimlik bilgisi toplama ve zafiyet taraması gibi red team görevlerini yerine getirmek üzere yerel olarak fine-tuned bir 7B LLM ajanı devreye alır.¹¹

Kıyaslamalarımızı ve veri odaklı içgörülerimizi kaçırmayın. Düğme Google'ı açar; AIMultiple'ı seçmeniz, Google arama sonuçlarında AIMultiple'ı daha sık görmek istediğinizi onaylar.

Tercih edilen kaynak olarak ekle

Siber güvenlikte LLM'ler kıyaslama metodolojisi

SecBench, LLM'leri siber güvenlikte farklı görevler, alanlar, diller ve formatlar açısından değerlendirmek için büyük ölçekli, çok boyutlu bir kıyaslamadır.

Değerlendirme boyutları

1. Çok düzeyli akıl yürütme:

• Bilgi Tutma (KR): Olgusal bilgi veya tanımları test eden sorular. Bunlar daha basittir.
  
• Mantıksal akıl yürütme (LR): Çıkarım ve daha derin anlayış gerektiren sorular. Bunlar daha zordur ve model'in bağlama dayalı akıl yürütme yeteneğini test eder.

2. Çok formatlı:

• MCQ'lar (Çoktan Seçmeli Sorular): Model'in önceden tanımlanmış yanıtlardan seçim yaptığı geleneksel format. Toplam 44.823 soru.
  
• SAQ'lar (Kısa Yanıtlı Sorular): Model'in, akıl yürütme, netlik ve halüsinasyon direncini değerlendirmek için yanıtını üretmesini gerektiren açık uçlu format. Toplam 3.087 soru.

3. Çok Dilli:

SecBench, hem Çince hem de İngilizce sorular içerir.

4. Çok Alanlı:

Sorular, güvenlik yönetimi, veri güvenliği, ağ güvenliği, uygulama güvenliği, bulut güvenliği ve daha fazlasını içeren 9 siber güvenlik alanını (D1–D9) kapsar.

Değerlendirme

MCQ'lar, model'in doğru seçeneği/seçenekleri seçip seçmediği kontrol edilerek puanlanır.

SAQ'lar, model'in yanıtını doğru yanıtla karşılaştıran ve doğruluk ile eksiksizliğe göre puan atayan bir GPT-4o mini “puanlama ajanı” kullanılarak puanlanır.

LLM performans değerlendirmesi: Örneğin, Ağ Güvenliği (D3), kendisine ait 44.823 soruluk MCQ dataset'indeki ilgili sorular gruplanarak değerlendirilir.

Doğruluk, her model'in performansına, özellikle D3 alanı altında etiketlenmiş sorulara göre ölçülür. Bir model'in D3 için yüzdelik puanı, doğru yanıtladığı ağ güvenliği sorularının oranını yansıtır.

Bu benchmarkı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Siber Güvenlikte Büyük Dil Model'leri}},
  year   = {2026},
  month  = sep,
  howpublished    = {\url{https://aimultiple.com/llms-in-cybersecurity}},
  note   = {AIMultiple. Erişim tarihi: 15 Eylül 2026}
}

Değişiklik günlüğü

1 güncelleme

2025

1. 3 Ara

   Giriş bölümüne 9 siber güvenlik alanındaki 7 büyük dil modelinin değerlendirme sonuçları eklendi.

Referans Linkleri

1.

SecBench: A Comprehensive Multi-Dimensional Benchmarking Dataset for LLMs in Cybersecurity

2.

[2502.20791] CyLens: Towards Reinventing Cyber Threat Intelligence in the Paradigm of Agentic Large Language Models

3.

[2504.00428] LLM-Assisted Proactive Threat Intelligence for Automated Reasoning

4.

The Use of Large Language Models (LLM) for Cyber Threat Intelligence (CTI) in Cybercrime Forums

5.

CVE-LLM: Ontology-Assisted Automatic Vulnerability Evaluation Using Large Language Models

6.

Static Detection of Filesystem Vulnerabilities in Android Systems

7.

https://arxiv.org/pdf/2505.02079

8.

LogLLM: Log-based Anomaly Detection Using Large Language Models

9.

System Log Parsing with Large Language Models: A Review

10.

https://arxiv.org/pdf/2407.13267

11.

https://arxiv.org/pdf/2407.08991

Cem Dilmegani

Baş Analist

Takip Et

Cem, 2017'den beri AIMultiple bünyesinde baş analisttir. Cem'in AIMultiple'daki çalışmaları; Business Insider, Forbes, Morning Brew ve Washington Post gibi önde gelen küresel yayınlar, Deloitte ve HPE gibi küresel firmalar, Dünya Ekonomik Forumu gibi STK'lar ve Avrupa Komisyonu gibi uluslarüstü kuruluşlar tarafından alıntılanmıştır. [1], [2], [3], [4], [5] Kariyeri boyunca Cem; teknoloji danışmanı, teknoloji alıcısı ve teknoloji girişimcisi olarak görev yaptı. On yılı aşkın süre boyunca McKinsey & Company ve Altman Solon'da işletmelere teknoloji kararlarında danışmanlık yaptı. Ayrıca dijitalleşme üzerine bir McKinsey raporu yayımladı. CEO'ya rapor verirken bir telekom şirketinin teknoloji stratejisini ve satın alma süreçlerini yönetti. Ayrıca 2 yıl içinde 0'dan 7 haneli yıllık yinelenen gelire ve 9 haneli değerlemeye ulaşan derin teknoloji şirketi Hypatos'un ticari büyümesini yönetti. Cem'in Hypatos'taki çalışmaları TechCrunch ve Business Insider gibi önde gelen teknoloji yayınları tarafından ele alındı. Cem, uluslararası teknoloji konferanslarında düzenli olarak konuşma yapmaktadır. Boğaziçi Üniversitesi'nden bilgisayar mühendisi olarak mezun oldu ve Columbia Business School'dan MBA derecesine sahiptir.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder