Vai al contenuto
  • BTC $59.078 −6,6%
  • ETH $1.638 −8,4%
  • SOL $69,35 −7,0%
  • BNB $543,96 −7,7%
  • XRP $0,9093 −7,2%
  • DOGE $0,0543 −8,1%
  • ADA $0,1415 −8,5%

Vulnerabilità nei modelli decisionali tipizzati: passa il 63% delle azioni vietate

vulnerabilità nei modelli decisionali tipizzati
Vulnerabilità nei modelli decisionali tipizzati: passa il 63% delle azioni vietate

Sei righe di log hanno fatto salire dallo 0% al 63% la quota di azioni vietate che un guardrail lascia passare. Lo dice uno studio dell’8 ottobre 2026 sulle vulnerabilità nei modelli decisionali tipizzati.

Tra gli attacchi analizzati ce n’è uno che cambia soltanto il nome di un’opzione. La sua definizione e il testo da giudicare restano identici.

Punti chiave

  • Sette modelli open-weight hanno totalizzato tra il 36% e il 72% sulle decisioni di blocco o consenso.
  • Con etichette ingannevoli, quattro modelli hanno lasciato passare dal 93% al 100% delle azioni vietate.
  • Per i ricercatori questi modelli servono ad alleggerire il lavoro dei revisori, non a decidere da soli.

I risultati sono stati pubblicati su arXiv da Erfan Baghaei Potraghloo. I modelli sono stati provati come guardrail per agent system, su compiti di prompt injection, jailbreak e filtraggio di contenuti tossici.

Come funzionano i modelli decisionali tipizzati come guardrail

Un modello decisionale tipizzato legge un testo e assegna probabilità alle opzioni stabilite da chi lo usa, senza generare testo. Ogni opzione ha una breve definizione scritta.

Negli agent system il modello valuta una chiamata a uno strumento o un messaggio in arrivo, e ne decide il via libera. È la funzione del guardrail, la barriera che sta tra l’agente e le azioni che la policy vieta.

I sette modelli valutati hanno raggiunto un’accuratezza tra il 36% e il 72% nelle decisioni di blocco o consenso. Il termine di paragone è il 50% del puro caso.

Lo studio ha trovato anche impostazioni predefinite molto diverse. Un modello lasciava passare quasi tutto, un altro bloccava quasi tutto.

Le vulnerabilità nei modelli decisionali tipizzati: due errori diversi

Gli errori fail-open lasciano passare azioni che la policy vieta, quindi sono falle di sicurezza. Gli errori fail-closed respingono azioni che la policy ammette e producono costi operativi.

Lo studio misura le due direzioni separatamente. Un tasso basso, in una delle due, non dimostra che la policy venga applicata bene: dipende anche dalla tendenza del modello a scegliere sempre una certa risposta.

In pratica, un modello che blocca quasi tutto può avere pochi rischi fail-open senza per questo giudicare correttamente i casi.

Righe di log e nomi delle opzioni cambiano le decisioni

Sei righe di log di un server, estranee alla policy, hanno portato il tasso di errori fail-open di un guardrail dallo 0% al 63%. Il test è stato fatto su un insieme sintetico di chiamate a strumenti di un agente. Lo stesso modello, per il resto, valutava correttamente quella policy.

Un secondo attacco prende di mira l’etichetta dell’opzione permissiva. Con un nome fuorviante, i tassi fail-open sono saliti tra il 93% e il 100% nei quattro modelli che includevano l’etichetta nell’input.

Né la definizione dell’opzione né il testo valutato erano cambiati. Questo suggerisce che, per questi modelli, anche un dettaglio apparentemente secondario come il nome di un’opzione può spostare la decisione.

Regole deterministiche e ruolo del revisore

Una regola deterministica che lavora sui valori tipizzati ha raggiunto il 100% di accuratezza su tutte e sei le policy.

La raccomandazione dello studio è usare i modelli decisionali per ridurre il numero di casi che arrivano a un revisore, senza affidare loro da soli il potere di decidere.

Il codice dello studio è disponibile su GitHub.

Contenuto realizzato con l’assistenza dell’intelligenza artificiale e con revisione editoriale umana.

Francesco Antonio Russo

Francesco Antonio Russo è un analista e divulgatore nel settore delle criptovalute, del Web3 e dell’Intelligenza Artificiale. Da più di 6 anni studia l’evoluzione dei mercati digitali e delle tecnologie decentralizzate, con particolare attenzione all’impatto economico e sociale della blockchain. Su Cryptonomist approfondisce trend, regolamentazioni e innovazioni, offrendo contenuti accurati e comprensibili anche ai non addetti ai lavori.

Tutti gli articoli di Francesco Antonio Russo