Un ricercatore ha scoperto una falla di sicurezza che riguarda il modo in cui i modelli di intelligenza artificiale trasformano ciò che “vedono” su uno schermo in un clic reale. Lo studio, firmato da Yu Ran e pubblicato il 4 agosto 2026, dimostra come sia possibile condurre attacchi adversarial ai modelli GUI sfruttando un dettaglio tecnico apparentemente marginale: il modo in cui questi sistemi generano le coordinate dei punti da cliccare sullo schermo.
Summary
Punti chiave
- I modelli di GUI Visual Grounding generano le coordinate dello schermo come sequenze di cifre-token, poi convertite in valori numerici.
- Modificare una singola cifra nella posizione delle centinaia può spostare il clic eseguito di 100 unità sullo schermo.
- MissClick è un attacco white-box con due varianti: MissClick-U (non mirato) e MissClick-T (mirato).
- MissClick-U raggiunge tassi di successo del 75,07% su OS-Atlas e del 72,93% su UGround.
- MissClick-T raggiunge tassi di successo mirato del 44,86% su OS-Atlas e del 62,67% su UGround.
Come i modelli di GUI Visual Grounding generano le coordinate
I modelli di visual grounding traducono un’istruzione testuale in un punto preciso sullo schermo, generando le coordinate come sequenze di cifre che vengono poi analizzate e trasformate in valori numerici collegati a un clic eseguibile. È un processo che sembra innocuo, ma cela una vulnerabilità strutturale che finora era passata sotto silenzio.
Predizione delle coordinate serializzate in cifre
Ogni cifra della coordinata viene predetta dal modello come un token categorico, cioè come una scelta tra simboli discreti, non come un numero continuo. Il problema nasce nel passaggio successivo: quando queste cifre vengono lette insieme per ricostruire il valore numerico finale, il loro peso cambia radicalmente in base alla posizione che occupano.
Effetto del valore posizionale delle cifre sullo spostamento delle coordinate
Qui si trova il cuore della scoperta. Cambiare una cifra nella posizione delle centinaia di un solo valore può alterare la coordinata numerica corrispondente di 100 unità, producendo uno spostamento enorme nel punto in cui il clic viene effettivamente eseguito sullo schermo. Un errore minimo nella predizione di un singolo token puo quindi tradursi in un’azione completamente diversa da quella prevista, con conseguenze potenzialmente gravi per qualsiasi agente AI che interagisce autonomamente con interfacce grafiche.
MissClick: attacchi adversarial ai modelli GUI
Partendo da questa osservazione, lo studio propone MissClick, un attacco adversarial in modalità white-box pensato appositamente per sfruttare la struttura numerica e posizionale delle coordinate, invece di trattarle come semplice testo generico.
Varianti dell’attacco: MissClick-U e MissClick-T
L’attacco si articola in due varianti con obiettivi distinti. La prima, MissClick-U, punta a un’interruzione non mirata: l’obiettivo è semplicemente far cadere il clic fuori dalla zona corretta dello schermo. La seconda, MissClick-T, è invece un attacco mirato: cerca di dirottare il clic proprio verso una regione specifica scelta dall’attaccante.
Obiettivi distinti e strategie di ottimizzazione
Le due varianti richiedono strategie di ottimizzazione diverse, perché rispondono a condizioni di successo differenti. MissClick-U massimizza il cosiddetto soft-coordinate displacement, cioè lo spostamento continuo della coordinata predetta, per generare la maggiore disruption possibile. MissClick-T, al contrario, minimizza una funzione di perdita pesata per posizione sulle cifre target, per spingere il modello a produrre esattamente la coordinata desiderata dall’attaccante.
Valutazione sperimentale e tassi di successo degli attacchi
I test condotti su due modelli di riferimento, OS-Atlas e UGround, confermano che la vulnerabilità e concreta e sfruttabile su piattaforme desktop, web e mobile, non un caso isolato di laboratorio.
Risultati attacchi non mirati su OS-Atlas e UGround
Sul fronte degli attacchi non mirati, MissClick-U ha ottenuto tassi di successo del 75,07% su OS-Atlas e del 72,93% su UGround, con miglioramenti rispettivamente di +16,62 e +30,72 punti percentuali rispetto agli attacchi esistenti contro questi stessi modelli.
Risultati attacchi mirati su OS-Atlas e UGround
Per gli attacchi mirati, i numeri sono altrettanto significativi: MissClick-T ha raggiunto un tasso di successo del 44,86% su OS-Atlas e del 62,67% su UGround, con incrementi di +31,73 e +47,06 punti percentuali. Il confronto tra i due obiettivi di attacco mostra inoltre che lo spostamento soft-coordinate resta la scelta più efficace per la disruption non mirata, mentre l’ottimizzazione pesata sulle cifre target produce i risultati migliori quando l’obiettivo è dirottare il clic in un punto preciso.
Il divario tra le due strategie non è un dettaglio accademico: dimostra che chi progetta questi attacchi deve scegliere l’approccio giusto in base allo scopo, e che i sistemi di visual grounding, se non irrobustiti, offrono superfici di attacco distinte per ciascuna delle due finalità. Con l’espansione degli agenti AI capaci di operare autonomamente su interfacce grafiche, una falla come quella descritta da MissClick smette di essere un esercizio teorico e diventa un problema di sicurezza operativa, perché un clic dirottato da un agente automatico può tradursi in azioni indesiderate su sistemi reali, non solo in un errore visuale su uno schermo.
FAQ
Qual è la vulnerabilità principale sfruttata da MissClick nei modelli di GUI grounding?
MissClick sfrutta il processo di generazione delle coordinate serializzate in cifre, in cui ogni cifra è un token categorico: modificare le cifre con valore posizionale più alto provoca spostamenti ampi delle coordinate finali.
Quali sono le due varianti dell’attacco MissClick e i loro obiettivi?
MissClick-U è un attacco non mirato che massimizza lo spostamento delle coordinate, mentre MissClick-T è un attacco mirato che minimizza una funzione di perdita pesata per posizione sulle cifre, per dirottare le coordinate verso una regione specificata dall’attaccante.
Quanto sono efficaci gli attacchi MissClick sui diversi dataset testati?
MissClick-U ha raggiunto tassi di successo non mirato di circa il 75% su OS-Atlas e il 73% su UGround, mentre MissClick-T ha ottenuto tassi di successo mirato di circa il 45% su OS-Atlas e il 63% su UGround.
Contenuto realizzato con l’assistenza dell’intelligenza artificiale e con revisione editoriale umana.
