Siber Güvenlikte Büyük Dil Modelleri in 2026

Güvenlik görevleri için geniş ölçekli ve çok formatlı bir kıyaslama aracı olan SecBench'i kullanarak 9 siber güvenlik alanında 7 büyük dil modelini değerlendirdik.

Her bir modeli, veri güvenliği, kimlik ve erişim yönetimi, ağ güvenliği, güvenlik açığı yönetimi ve bulut güvenliği gibi alanları kapsayan 44.823 çoktan seçmeli soru (MCQ) ve 3.087 kısa cevaplı soru (SAQ) üzerinde test ettik.

Siber güvenlik alanında uzmanlaşmış Hukuk Yüksek Lisansları (LLM)

Siber güvenlik alanında genel amaçlı Hukuk Yüksek Lisansları (LLM)

Bu büyük dil modelleri yalnızca siber güvenlik verileri üzerinde eğitilmemiştir, ancak doğru şekilde yönlendirildiğinde veya SecBench gibi kıyaslama testlerinde değerlendirildiğinde bu alanda da iyi performans gösterebilirler.

Örnekler:

• GPT-4 / GPT-4o
• DeepSeek-V3
• Mistral
• Qwen2 / Yi / LLaMA-3-Instruct
• Hunyuan-Turbo

Siber güvenlik alanlarında LLM performansının karşılaştırılması

Bu kıyaslama, hem tescilli (örneğin, GPT-4) hem de açık kaynaklı modeller (örneğin, DeepSeek, Mistral) dahil olmak üzere 7 genel LLM'yi değerlendirir. Kıyaslama, aşağıdakiler dahil olmak üzere 9 siber güvenlik alt alanını kapsar:

• Veri Güvenliği
• Kimlik ve Erişim Yönetimi
• Uygulama Güvenliği
• Ağ Güvenliği
• Güvenlik Standartları (ve diğerleri)

X eksenindeki alanlar LLM performansına göre sıralanmıştır; düşük puanlı alanlar sola, yüksek puanlı alanlar ise sağa yerleştirilmiştir.

Çoktan Seçmeli Sorular (MCQ) kıyaslaması:

Kısa Cevaplı Sorular (SAQ'lar):

Kaynak: SecBench tasarımı ¹ Karşılaştırma metodolojisine bakınız.

Siber güvenlikte Hukuk Yüksek Lisanslarının (LLM) rolü

Büyük dil modelleri (LLM'ler), siber güvenlik operasyonlarında tehdit istihbarat raporları, olay kayıtları, CVE veritabanları ve saldırgan TTP'leri gibi yapılandırılmamış kaynaklardan eyleme geçirilebilir bilgiler elde etmek için kullanılır.

LLM'ler, tehdit sınıflandırması, uyarı özetleme ve ihlal göstergelerinin (IOC'ler) ilişkilendirilmesi de dahil olmak üzere temel görevleri otomatikleştirir.

Siber güvenlik verileri üzerinde ince ayar yapıldığında, büyük dil modelleri günlüklerdeki anormallikleri tespit edebilir, kimlik avı e-postalarını analiz edebilir, güvenlik açıklarını önceliklendirebilir ve tehditleri MITRE ATT&CK gibi çerçevelere eşleştirebilir.

Siber güvenlikte büyük dil modellerinin uygulamaları

Tehdit istihbaratı

Bağlamsal tehdit analizi için yardımcı pilot: CyLens gibi LLM destekli araçlar, modüler NLP işlem hatları ve varlık korelasyon filtreleri kullanarak kapsamlı tehdit raporlarını analiz ederek güvenlik analistlerini tehdit istihbaratı boyunca destekler. ²

Gerçek zamanlı proaktif tehdit istihbaratı: Sistemler, sürekli CTI akışlarını (örneğin, CVE) vektör veritabanlarına (Milvus gibi) aktarmak için LLM'leri geri alma destekli üretim (RAG) çerçeveleriyle entegre eder ve böylece güncel otomatik tespit, puanlama ve bağlamsal akıl yürütme olanağı sağlar. ³

Forum tabanlı CTI çıkarımı: LLM'ler, basit komutlar kullanarak siber suç forumlarından gelen yapılandırılmamış verileri analiz ederek temel tehdit göstergelerini çıkarır. ⁴

Güvenlik açığı tespiti

Güvenlik açığı açıklaması zenginleştirme: CVE-LLM gibi LLM'ler, alan ontolojilerini kullanarak güvenlik açığı açıklamalarını zenginleştirir ve mevcut güvenlik yönetim sistemlerine otomatik önceliklendirme ve CVSS puanlama entegrasyonunu sağlar. ⁵

Android dosya sistemi güvenlik açığı tespiti: LLM'lerin Android uygulamalarındaki dosya sistemi erişim güvenlik açıklarını, izin suistimalini ve güvensiz depolamayı nasıl tespit edebileceğini inceler. ⁶

Güvenlik açığı tespiti için takviyeli öğrenme ile ince ayar: Yazılım güvenlik açıklarını belirlemede doğruluğu artırmak için LLM'leri (LLaMA 3B/8B, Qwen 2.5B) ince ayar yapmak üzere takviyeli öğrenme (RL) uygular. ⁷

Anomaly algılama ve günlük analizi

Semantik günlük anormallik tespiti: LogLLM gibi çerçeveler, günlük girdilerini ayrıştırmak ve sınıflandırmak için LLM kodlayıcılarını/kod çözücülerini kullanır ve anormallik tespitini kalıp eşleştirmenin ötesine taşır. ⁸

Büyük dil modelleriyle günlük ayrıştırma: Otomatik LLM ayrıştırma, istem tabanlı ve ince ayarlı yaklaşımlar aracılığıyla yapılandırılmamış günlükleri yapılandırılmış biçimlere dönüştürür. ⁹

Kırmızı ekip çalışması / LLM destekli saldırı önleme

LLM tabanlı sızma testi ve iyileştirme (penheal): İki aşamalı bir süreç kullanarak sızma testini otomatikleştirir; önce güvenlik açıklarını belirler, ardından özel bir LLM kurulumu kullanarak iyileştirme eylemleri oluşturur. ¹⁰

Dahili güvenlik için şirket içi kırmızı ekip ajanı (hackphyr): Ağlarda yanal hareket simülasyonu, kimlik bilgisi toplama ve güvenlik açığı taraması gibi kırmızı ekip görevlerini gerçekleştirmek için yerel olarak ince ayarlı bir 7B LLM ajanı dağıtır. ¹¹

Kıyaslama metodolojisi

SecBench, siber güvenlik alanındaki dil öğrenme modellerini (LLM) farklı görevler, alanlar, diller ve formatlar genelinde değerlendirmek için kullanılan büyük ölçekli, çok boyutlu bir kıyaslama aracıdır.

Değerlendirme boyutları

1. Çok düzeyli akıl yürütme:

• Bilgi Saklama (KR): Olgusal bilgiyi veya tanımları test eden sorular. Bunlar daha basit sorulardır.
  
• Mantıksal akıl yürütme (LR): Çıkarım ve daha derin bir anlayış gerektiren sorular. Bunlar daha zorlayıcıdır ve modelin bağlama dayalı olarak akıl yürütme yeteneğini test eder.

2. Çoklu format:

• Çoktan Seçmeli Sorular (MCQ): Modelin önceden tanımlanmış cevaplar arasından seçim yaptığı geleneksel format. Toplam 44.823 soru.
  
• Kısa Cevaplı Sorular (SAQ): Akıl yürütme, açıklık ve yanılsamaya karşı direnci değerlendirmek için modelin yanıtını üretmesini gerektiren açık uçlu format. Toplam 3.087 soru.

3. Çok Dilli:

SecBench, hem Çince hem de İngilizce sorular içermektedir.

4. Çok Alanlı:

Sorular, güvenlik yönetimi, veri güvenliği, ağ güvenliği, uygulama güvenliği, bulut güvenliği ve daha fazlasını içeren 9 siber güvenlik alanını (D1-D9) kapsamaktadır.

Değerlendirme

Çoktan seçmeli sorular, modelin doğru seçeneği/seçenekleri seçip seçmediği kontrol edilerek değerlendirilir.

SAQ'lar , modelin yanıtını gerçek değerle karşılaştıran ve doğruluk ve eksiksizliğe dayalı olarak bir puan atayan bir mini "değerlendirme ajanı" kullanılarak derecelendirilir.

LLM performans değerlendirmesi: Örneğin, Ağ Güvenliği (D3), 44.823 soruluk çoktan seçmeli soru veri setinden ilgili soruların gruplandırılmasıyla değerlendirilir.

Doğruluk, her modelin performansına, özellikle de D3 alanı altında etiketlenen sorulara göre ölçülür. Bir modelin D3 için yüzde puanı, ağ güvenliği sorularının ne kadarını doğru yanıtladığını yansıtır.

Referans Linkleri

1.

https://arxiv.org/pdf/2412.20787

2.

[2502.20791] CyLens: Towards Reinventing Cyber Threat Intelligence in the Paradigm of Agentic Large Language Models

3.

[2504.00428] LLM-Assisted Proactive Threat Intelligence for Automated Reasoning

4.

https://arxiv.org/pdf/2408.03354

5.

https://arxiv.org/pdf/2502.15932

6.

https://arxiv.org/pdf/2407.11279

7.

https://arxiv.org/pdf/2505.02079

8.

https://arxiv.org/pdf/2411.08561

9.

https://arxiv.org/pdf/2504.04877

10.

https://arxiv.org/pdf/2407.13267

11.

https://arxiv.org/pdf/2407.08991

Cem Dilmegani

Baş Analist

Takip Et

Cem, 2017'den beri AIMultiple'da baş analist olarak görev yapmaktadır. AIMultiple, her ay Fortune 500 şirketlerinin %55'i de dahil olmak üzere yüz binlerce işletmeye (benzer Web'e göre) bilgi sağlamaktadır. Cem'in çalışmaları, Business Insider, Forbes, Washington Post gibi önde gelen küresel yayınlar, Deloitte, HPE gibi küresel firmalar, Dünya Ekonomik Forumu gibi STK'lar ve Avrupa Komisyonu gibi uluslararası kuruluşlar tarafından alıntılanmıştır. AIMultiple'ı referans gösteren daha fazla saygın şirket ve kaynağı görebilirsiniz. Kariyeri boyunca Cem, teknoloji danışmanı, teknoloji alıcısı ve teknoloji girişimcisi olarak görev yapmıştır. On yıldan fazla bir süre McKinsey & Company ve Altman Solon'da işletmelere teknoloji kararları konusunda danışmanlık yapmıştır. Ayrıca dijitalleşme üzerine bir McKinsey raporu yayınlamıştır. Bir telekom şirketinin CEO'suna bağlı olarak teknoloji stratejisi ve tedarikini yönetmiştir. Ayrıca, 2 yıl içinde sıfırdan 7 haneli yıllık yinelenen gelire ve 9 haneli değerlemeye ulaşan derin teknoloji şirketi Hypatos'un ticari büyümesini yönetmiştir. Cem'in Hypatos'taki çalışmaları TechCrunch ve Business Insider gibi önde gelen teknoloji yayınlarında yer aldı. Cem düzenli olarak uluslararası teknoloji konferanslarında konuşmacı olarak yer almaktadır. Boğaziçi Üniversitesi'nden bilgisayar mühendisliği diplomasına ve Columbia Business School'dan MBA derecesine sahiptir.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder