Un nuovo studio accademico mette in discussione uno dei mantra più ripetuti della programmazione assistita dall’intelligenza artificiale: che gli agenti AI possano scrivere codice pronto per la produzione senza una vera supervisione umana. La ricerca, condotta dall’autrice Danqing Wang e pubblicata su arXiv, analizza la sicurezza del codice Vibe generato da agenti basati su large language model e i risultati non sono confortanti. Il lavoro introduce SUSVIBES, un benchmark pensato apposta per stanare le vulnerabilità che si nascondono dietro soluzioni apparentemente funzionanti.
Summary
Punti chiave
- Il vibe coding è un paradigma in cui agenti basati su LLM completano compiti di programmazione complessi con supervisione umana minima.
- Il benchmark SUSVIBES raccoglie 186 task reali provenienti da progetti open-source, tutti collegati a implementazioni vulnerabili documentate da programmatori umani.
- Sono state testate 12 configurazioni di agenti di coding molto diffuse, basate su modelli AI di frontiera.
- Con SWE-Agent e Claude 4 Sonnet, il 57% delle soluzioni è funzionalmente corretto, ma solo l’11,8% risulta sicuro contro le vulnerabilità conosciute.
- Strategie preliminari come l’aggiunta di indizi sulle vulnerabilità non hanno migliorato in modo significativo la sicurezza del codice prodotto.
Cos’è il Vibe Coding e perché la sicurezza preoccupa
Il vibe coding è, in sintesi, la delega quasi totale della scrittura del codice a un agente AI: l’ingegnere umano formula una richiesta, l’agente basato su un large language model la trasforma in codice funzionante con un intervento minimo di controllo. È un approccio che promette velocità e produttività, ma che sposta il peso della verifica quasi interamente sul modello stesso.
Il problema, secondo lo studio, è che nessuno aveva ancora misurato in modo sistematico se il codice prodotto in questo modo sia davvero sicuro da portare in produzione. La domanda che ha guidato la ricerca è diretta: gli agenti scrivono codice funzionante, ma lo scrivono anche senza vulnerabilità? La risposta, come vedremo, complica non poco l’entusiasmo attorno all’adozione crescente di questa metodologia.
Il benchmark SUSVIBES per valutare le vulnerabilità nel codice degli agenti
SUSVIBES nasce per riprodurre condizioni reali, non scenari di laboratorio artificiali. Il benchmark è composto da 186 task di feature-request tratti da progetti open-source realmente esistenti, per i quali programmatori umani avevano a suo tempo introdotto implementazioni con vulnerabilità note e documentate. In pratica, ogni task rappresenta una situazione già capitata nel mondo reale, in cui un errore di sicurezza era effettivamente scivolato nel codice.
Su questa base, i ricercatori hanno messo alla prova 12 configurazioni di agenti di coding tra le più usate, abbinate a modelli AI di frontiera. L’obiettivo non era solo verificare se gli agenti riuscissero a completare la richiesta funzionale, ma soprattutto se evitassero di ricadere nelle stesse trappole di sicurezza già osservate negli errori umani originali.
Correttezza funzionale alta, sicurezza del codice Vibe drammaticamente bassa
Il dato più netto dello studio riguarda proprio il divario tra funzionalità e sicurezza: tutti gli agenti testati hanno mostrato prestazioni scarse sul fronte della sicurezza del software, indipendentemente dalla configurazione scelta. Non si tratta di un caso isolato legato a un singolo modello, ma di un problema trasversale a tutte le 12 configurazioni analizzate.
Il caso più citato dallo studio è quello di SWE-Agent abbinato a Claude 4 Sonnet: il 57% delle soluzioni generate risulta funzionalmente corretto, un risultato tutt’altro che deludente sul piano della semplice esecuzione del compito. Ma quando si passa a valutare la sicurezza, il quadro cambia radicalmente: solo l’11,8% di quelle stesse soluzioni si dimostra effettivamente sicuro contro le vulnerabilità note nel benchmark.
Qui si trova il nodo centrale della ricerca. Un codice che “funziona” secondo i normali test di correttezza può comunque nascondere falle sfruttabili, e nella maggioranza dei casi analizzati questo è esattamente ciò che accade. Per chi valuta l’adozione di agenti nella produzione software, il messaggio è chiaro: la correttezza funzionale del codice AI non è affatto un indicatore di sicurezza.
Le strategie preliminari non bastano a colmare il gap di sicurezza
Aggiungere indicazioni esplicite sulle vulnerabilità alla richiesta iniziale non risolve il problema. Gli autori dello studio hanno provato a integrare la feature request con suggerimenti relativi alle possibili vulnerabilità, una delle strategie per migliorare la sicurezza del codice più intuitive e a basso costo. Il risultato, però, è che questi interventi non hanno mitigato in modo significativo le criticità individuate.
Questo dettaglio pesa quanto i numeri sulla sicurezza. Se anche indizi diretti non riescono a correggere il comportamento degli agenti, significa che il problema non è solo di informazione mancante, ma qualcosa di più strutturale nel modo in cui questi sistemi generano codice.
Gli autori collegano direttamente questi risultati a un’avvertenza esplicita sull’adozione del Vibe coding: lo studio solleva preoccupazioni serie sull’uso diffuso di questo approccio, in particolare nelle applicazioni sensibili dal punto di vista della sicurezza, dove una singola vulnerabilità non individuata può avere conseguenze ben più gravi di un semplice malfunzionamento.
Per chi lavora in settori dove la sicurezza informatica è un requisito non negoziabile — finanza, infrastrutture critiche, gestione di dati sensibili — questi numeri rappresentano un campanello d’allarme concreto. Delegare la scrittura del codice a un agente senza una revisione umana approfondita, oggi, significa accettare un rischio di sicurezza misurabile e documentato, non un’ipotesi teorica.
Il codice e il dataset utilizzati per lo studio sono pubblicamente disponibili su GitHub, mentre una classifica pubblica permette di seguire le prestazioni delle diverse configurazioni sul benchmark, un elemento che apre la porta a verifiche indipendenti e a futuri confronti tra modelli e agenti man mano che ne usciranno di nuovi.
FAQ
Cos’è il vibe coding?
Il vibe coding è un approccio allo sviluppo software in cui agenti basati su large language model completano compiti di programmazione con una supervisione minima da parte degli ingegneri umani.
Cosa valuta il benchmark SUSVIBES?
SUSVIBES è un benchmark composto da 186 task di programmazione reali con vulnerabilità note, usato per misurare la sicurezza del codice generato dagli agenti AI.
Quanto è sicuro il codice generato dagli agenti LLM attuali nel Vibe coding?
I test hanno mostrato che, sebbene il 57% del codice generato sia funzionalmente corretto, solo l’11,8% risulta sicuro contro le vulnerabilità note.
Le strategie come l’aggiunta di indizi sulle vulnerabilità migliorano la sicurezza nel Vibe coding?
I tentativi preliminari, come l’inserimento di indizi relativi alle vulnerabilità, non hanno migliorato in modo significativo la sicurezza del codice generato dagli agenti.
Contenuto realizzato con l’assistenza dell’intelligenza artificiale e con revisione editoriale umana.
