Un gruppo di ricerca ha sviluppato un nuovo metodo per scoprire se un modello di intelligenza artificiale scrive codice vulnerabile su comando, senza che nessuno se ne accorga. Il progetto, chiamato CodeScan, è un framework di scansione orientato alle vulnerabilità che individua pattern strutturali anziché semplici incongruenze testuali.
Sommario
Punti chiave
- I modelli LLM per la generazione di codice possono essere colpiti da attacchi backdoor e di avvelenamento dei dati che li spingono a produrre codice insicuro.
- I metodi di scansione a livello di token esistenti non funzionano bene, perché lo stesso codice può assumere forme sintattiche molto diverse pur restando semanticamente identico.
- CodeScan è il primo framework black-box orientato alle vulnerabilità per controllare questi modelli, basato su analisi strutturale e normalizzazione tramite abstract syntax tree (AST).
- Nei test su 117 modelli, distribuiti su tre architetture e più dimensioni, il framework ha raggiunto un’accuratezza di rilevamento superiore al 97% con molti meno falsi positivi rispetto ai metodi precedenti.
La ricerca è firmata da Shenao Yan e sarà presentata alla conferenza ACM CCS 2026, uno degli appuntamenti principali sulla sicurezza informatica applicata all’informatica e alla crittografia. Il lavoro parte da un problema concreto: gli attacchi capaci di manipolare i modelli generativi di codice sono ormai documentati, ma le difese efficaci restano scarse.
Vulnerabilità nei modelli LLM per generazione di codice
I modelli usati per scrivere codice possono essere compromessi attraverso attacchi backdoor e tecniche di avvelenamento dei dati, con l’obiettivo di indurli a produrre software insicuro. È un rischio che riguarda direttamente chi integra questi strumenti nei flussi di sviluppo software, dove un errore introdotto di proposito può passare inosservato per molto tempo.
I sistemi di scansione oggi disponibili si basano sulla coerenza dei token generati per individuare l’obiettivo di un attacco. Questo approccio, però, non funziona bene con il codice sorgente: la stessa logica può essere scritta in modi sintatticamente diversi ma con significato identico, e i controlli a livello di token non riescono a cogliere questa equivalenza.
CodeScan: framework black-box per la scansione orientata alle vulnerabilità
CodeScan è descritto come il primo framework di scansione delle vulnerabilità black-box pensato specificamente per controllare i modelli generativi di codice. Il metodo parte dal presupposto che chi effettua l’analisi indichi le classi di vulnerabilità da verificare e fornisca prompt pertinenti al compito.
Analisi di similarità strutturale e normalizzazione AST
Il framework individua i possibili obiettivi di un attacco confrontando le similarità strutturali tra più generazioni di codice, ottenute a partire da prompt puliti e differenti tra loro. A questo si aggiunge una normalizzazione basata su abstract syntax tree (AST), che astrae le variazioni superficiali del codice per unificare le versioni semanticamente equivalenti e isolare le strutture che ricorrono in modo costante.
Analisi delle vulnerabilità basata su LLM e criteri di rilevamento
Una volta isolate le strutture ricorrenti, CodeScan applica un’analisi delle vulnerabilità basata su LLM per verificare se contengono effettivamente falle di sicurezza. Se viene individuata una struttura vulnerabile, il modello sotto esame viene segnalato come compromesso: è questo il criterio centrale su cui si fonda il rilevamento dei modelli compromessi offerto dal framework.
Valutazione e performance di CodeScan
I risultati sperimentali mostrano un’accuratezza di rilevamento superiore al 97%, con un numero di falsi positivi molto più basso rispetto ai metodi usati finora per il rilevamento dell’avvelenamento dei dati nei modelli generativi.
Benchmark su attacchi e classi di vulnerabilità
I ricercatori hanno testato CodeScan contro quattro attacchi rappresentativi, sia in scenari di tipo backdoor che di avvelenamento dei dati, coprendo tre classi di vulnerabilità reali. Le prove sono state condotte su 117 modelli, distribuiti su tre architetture diverse e su più dimensioni, per verificare la tenuta del metodo su scala.
Accuratezza di rilevamento e falsi positivi
Su questo campione ampio ed eterogeneo, il framework ha mantenuto un’accuratezza superiore al 97% nell’individuare i modelli compromessi. Il dato più significativo, secondo la ricerca, riguarda il numero di falsi positivi: sostanzialmente più basso rispetto agli approcci di scansione basati sui token usati in precedenza.
Il punto di forza di CodeScan sta nel cambiare l’oggetto dell’analisi: non più la coerenza testuale delle generazioni, ma la ricorrenza di strutture vulnerabili nel codice prodotto. Per chi lavora sulla sicurezza LLM per la generazione di codice, questo significa poter intercettare attacchi che finora passavano inosservati proprio perché camuffati sotto varianti sintattiche diverse ma equivalenti nella sostanza.
FAQ
Perché i metodi di scansione a livello di token non funzionano bene contro gli attacchi ai modelli generativi di codice?
Perché codice sintatticamente diverso può avere lo stesso significato: il controllo di coerenza a livello di token non riesce a rilevare gli attacchi in modo affidabile in questi casi.
Come fa CodeScan a individuare i modelli generativi di codice compromessi?
CodeScan analizza le similarità strutturali tra più output di codice generati con prompt puliti diversi, usa la normalizzazione AST per unificare le versioni semanticamente equivalenti e applica un’analisi delle vulnerabilità basata su LLM per segnalare eventuali problemi di sicurezza.
Contro quali attacchi e vulnerabilità è stato testato CodeScan?
Il framework è stato testato contro quattro attacchi rappresentativi, di tipo backdoor e di avvelenamento dei dati, che coprono tre classi di vulnerabilità reali.
Quanto è accurato CodeScan rispetto ai metodi di rilevamento precedenti?
CodeScan ha raggiunto un’accuratezza di rilevamento superiore al 97%, con un numero di falsi positivi molto più basso rispetto ai metodi usati finora.
Contenuto realizzato con l’assistenza dell’intelligenza artificiale e con revisione editoriale umana.




