Modelli linguistici di grandi dimensioni nella sicurezza informatica

Abbiamo valutato 7 modelli linguistici di grandi dimensioni in 9 domini di sicurezza informatica utilizzando SecBench, un benchmark su larga scala e multiformato per attività di sicurezza.

Abbiamo testato ciascun modello su 44.823 domande a risposta multipla (MCQ) e 3.087 domande a risposta breve (SAQ), riguardanti aree quali sicurezza dei dati, gestione delle identità e degli accessi, sicurezza di rete, gestione delle vulnerabilità e sicurezza del cloud.

Master in Leadership di Livello inferiore (LLM) specializzati in sicurezza informatica.

LLM di uso generale per la sicurezza informatica

Questi modelli linguistici di grandi dimensioni non sono addestrati esclusivamente su dati di sicurezza informatica, ma possono comunque ottenere buoni risultati in questo ambito se opportunamente sollecitati o valutati su benchmark come SecBench.

Esempi:

• GPT-4 / GPT-4o
• DeepSeek-V3
• Maestrale
• Qwen2 / Yi / LLaMA-3-Instruct
• Hunyuan-Turbo

Confronto delle prestazioni di LLM nei diversi ambiti della sicurezza informatica.

Questo benchmark valuta 7 modelli LLM generali , inclusi sia modelli proprietari (ad esempio, GPT-4) che modelli open-source (ad esempio, DeepSeek, Mistral). Il benchmark copre 9 sottocampi della sicurezza informatica , tra cui:

• Sicurezza dei dati
• Gestione delle identità e degli accessi
• Sicurezza delle applicazioni
• Sicurezza di rete
• Standard di sicurezza (e altri)

I domini sull'asse x sono ordinati in base alle prestazioni LLM, con i domini con punteggio inferiore posizionati a sinistra e quelli con punteggio superiore a destra.

Valutazione comparativa dei quiz a risposta multipla (MCQ):

Domande a risposta breve (SAQ):

Fonte: progetto SecBench ¹ Vedere la metodologia di riferimento.

Il ruolo dei LLM nella sicurezza informatica

I modelli linguistici di grandi dimensioni (LLM) vengono utilizzati nelle operazioni di sicurezza informatica per estrarre informazioni utili da fonti non strutturate come report di intelligence sulle minacce, registri degli incidenti, database CVE e tattiche, tecniche e procedure (TTP) degli aggressori.

I sistemi LLM automatizzano attività chiave, tra cui la classificazione delle minacce, la sintesi degli avvisi e la correlazione degli indicatori di compromissione (IOC).

Se ottimizzati sui dati di sicurezza informatica, i modelli linguistici di grandi dimensioni possono rilevare anomalie nei log, analizzare le email di phishing, dare priorità alle vulnerabilità e mappare le minacce su framework come MITRE ATT&CK.

Applicazioni di modelli linguistici di grandi dimensioni nella sicurezza informatica.

Intelligence sulle minacce

Copilota per l'analisi contestuale delle minacce: strumenti basati su LLM come CyLens supportano gli analisti della sicurezza in tutto il processo di threat intelligence, analizzando report dettagliati sulle minacce con pipeline NLP modulari e filtri di correlazione delle entità. ²

Intelligence proattiva sulle minacce in tempo reale: i sistemi integrano i LLM con framework di generazione aumentata per il recupero (RAG) per acquisire flussi continui di CTI (ad esempio, CVE) in database vettoriali (come Milvus), consentendo il rilevamento, la valutazione e il ragionamento contestuale automatizzati e aggiornati. ³

Estrazione di CTI basata sui forum: gli LLM analizzano dati non strutturati provenienti dai forum sulla criminalità informatica per estrarre indicatori chiave di minaccia utilizzando semplici prompt. ⁴

Rilevamento delle vulnerabilità

Arricchimento della descrizione delle vulnerabilità: i modelli LLM come CVE-LLM arricchiscono le descrizioni delle vulnerabilità utilizzando ontologie di dominio, consentendo l'integrazione automatizzata del triage e del punteggio CVSS all'interno dei sistemi di gestione della sicurezza esistenti. ⁵

Rilevamento delle vulnerabilità del filesystem Android: analizza come i LLM (Load Lifecycle Management) possono rilevare le vulnerabilità di accesso al filesystem nelle app Android, tra cui l'abuso di autorizzazioni e l'archiviazione non sicura. ⁶

Ottimizzazione dell'apprendimento per rinforzo per il rilevamento delle vulnerabilità: applica l'apprendimento per rinforzo (RL) per ottimizzare i modelli LLM (LLaMA 3B/8B, Qwen 2.5B) al fine di migliorare la precisione nell'identificazione delle vulnerabilità del software. ⁷

Anomaly rilevamento e analisi dei log

Rilevamento semantico delle anomalie nei log: framework come LogLLM utilizzano codificatori/decodificatori LLM per analizzare e classificare le voci di log, migliorando il rilevamento delle anomalie rispetto al semplice riconoscimento di pattern. ⁸

Analisi dei log con modelli linguistici di grandi dimensioni: l'analisi automatizzata dei modelli linguistici di grandi dimensioni converte i log non strutturati in formati strutturati tramite approcci basati su prompt e ottimizzati. ⁹

Prevenzione degli attacchi tramite red teaming e LLM

Test di penetrazione e correzione basati su LLM (penheal): automatizza i test di penetrazione utilizzando una pipeline a due fasi; prima identifica le vulnerabilità di sicurezza, poi genera azioni correttive utilizzando una configurazione LLM personalizzata. ¹⁰

Agente Red Team on-premise per la sicurezza interna (Hackphyr): distribuisce localmente un agente 7B LLM ottimizzato per eseguire attività di Red Team come la simulazione di movimenti laterali, la raccolta di credenziali e la scansione delle vulnerabilità nelle reti. ¹¹

Metodologia di benchmarking

SecBench è un benchmark multidimensionale su larga scala per la valutazione dei modelli di apprendimento basati su linguaggi (LLM) nel campo della sicurezza informatica, che copre diverse attività, domini, lingue e formati.

Dimensioni di valutazione

1. Ragionamento multilivello:

• Ritenzione delle conoscenze (KR): Domande che verificano la conoscenza di fatti o definizioni. Queste sono più semplici.
  
• Ragionamento logico (RL): domande che richiedono inferenza e una comprensione più approfondita. Sono più impegnative e mettono alla prova la capacità del modello di ragionare in base al contesto.

2. Multiformato:

• Domande a risposta multipla (MCQ): formato tradizionale in cui il modello seleziona le risposte da una serie predefinita. Totale di 44.823 domande.
  
• Domande a risposta breve (SAQ): formato aperto che richiede al modello di generare la propria risposta per valutare il ragionamento, la chiarezza e la resistenza alle allucinazioni. Totale di 3.087 domande.

3. Multilingue:

SecBench include domande sia in cinese che in inglese .

4. Multidominio:

Le domande riguardano 9 ambiti della sicurezza informatica (D1–D9) , tra cui: gestione della sicurezza, sicurezza dei dati, sicurezza di rete, sicurezza delle applicazioni, sicurezza del cloud e altro ancora.

Valutazione

I quesiti a risposta multipla vengono valutati verificando se il modello seleziona la/le risposta/e corretta/e.

I questionari a risposta breve (SAQ) vengono valutati utilizzando un mini "agente di valutazione" GPT-4o , che confronta la risposta del modello con la verità di base e assegna un punteggio in base all'accuratezza e alla completezza.

Valutazione delle prestazioni LLM: ad esempio, la sicurezza di rete (D3) viene valutata raggruppando le domande pertinenti dal suo set di dati di 44.823 domande a risposta multipla.

L'accuratezza viene misurata in base alle prestazioni di ciascun modello, in particolare per quanto riguarda le domande etichettate nel dominio D3. Il punteggio percentuale di un modello per D3 riflette la proporzione di domande sulla sicurezza di rete a cui ha risposto correttamente.

Collegamenti di riferimento

1.

https://arxiv.org/pdf/2412.20787

2.

[2502.20791] CyLens: Towards Reinventing Cyber Threat Intelligence in the Paradigm of Agentic Large Language Models

3.

[2504.00428] LLM-Assisted Proactive Threat Intelligence for Automated Reasoning

4.

https://arxiv.org/pdf/2408.03354

5.

https://arxiv.org/pdf/2502.15932

6.

https://arxiv.org/pdf/2407.11279

7.

https://arxiv.org/pdf/2505.02079

8.

https://arxiv.org/pdf/2411.08561

9.

https://arxiv.org/pdf/2504.04877

10.

https://arxiv.org/pdf/2407.13267

11.

https://arxiv.org/pdf/2407.08991

Cem Dilmegani

Analista principale

Segui

Cem è analista principale presso AIMultiple dal 2017. AIMultiple fornisce informazioni a centinaia di migliaia di aziende (secondo SimilarWeb), tra cui il 55% delle aziende Fortune 500, ogni mese. Il lavoro di Cem è stato citato da importanti pubblicazioni globali come Business Insider, Forbes, Washington Post, società globali come Deloitte e HPE, ONG come il World Economic Forum e organizzazioni sovranazionali come la Commissione Europea. È possibile consultare l'elenco di altre aziende e risorse autorevoli che hanno citato AIMultiple. Nel corso della sua carriera, Cem ha lavorato come consulente tecnologico, responsabile acquisti tecnologici e imprenditore nel settore tecnologico. Ha fornito consulenza alle aziende sulle loro decisioni tecnologiche presso McKinsey & Company e Altman Solon per oltre un decennio. Ha anche pubblicato un report di McKinsey sulla digitalizzazione. Ha guidato la strategia tecnologica e gli acquisti di un'azienda di telecomunicazioni, riportando direttamente al CEO. Ha inoltre guidato la crescita commerciale dell'azienda deep tech Hypatos, che ha raggiunto un fatturato annuo ricorrente a 7 cifre e una valutazione a 9 cifre partendo da zero in soli 2 anni. Il lavoro di Cem in Hypatos è stato oggetto di articoli su importanti pubblicazioni tecnologiche come TechCrunch e Business Insider. Cem partecipa regolarmente come relatore a conferenze internazionali di settore. Si è laureato in ingegneria informatica presso l'Università di Bogazici e ha conseguito un MBA presso la Columbia Business School.

Visualizza il profilo completo

Sii il primo a commentare

Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori.

Nome

Indirizzo e-mail

Commento

0/450

Pubblica un commento