Le grandi aziende di intelligenza artificiale stanno correndo ai ripari mentre una ricerca presentata alla International Conference on Machine Learning rivela una vulnerabilità di sicurezza fondamentale negli LLM che potrebbe essere intrinsecamente irrisolvibile. Il problema, identificato dai ricercatori indipendenti Charles Ye e Jasmine Cui, mina la fiducia nell’utilizzo di questi modelli per sistemi critici.
Summary
Punti chiave
- I LLM identificano la fonte delle istruzioni basandosi più sullo stile del testo che sui tag di ruolo, una falla che li rende vulnerabili allo spoofing.
- L’attacco, chiamato chain-of-thought forgery, è stato scoperto dai ricercatori e ha vinto l’hackathon di red-teaming di OpenAI nell’agosto 2025.
- I ricercatori hanno successivamente osservato risultati simili con modelli di Anthropic, Alibaba e DeepSeek.
- Gli sforzi di training e red-teaming basati sul rilevamento dei ruoli non possono risolvere completamente il problema.
- I ricercatori avvertono le organizzazioni di non fidarsi ciecamente degli output degli LLM e di aspettarsi comportamenti non sicuri dagli agenti AI.
Il problema fondamentale nell’identificazione delle istruzioni LLM
Il cuore della vulnerabilità risiede nel modo in cui i grandi modelli linguistici distinguono l’origine dei comandi che ricevono. I chatbot utilizzano tag come user, assistant, system, think e tool per organizzare il flusso di testo e identificare chi sta dando le istruzioni.
Contenuto realizzato con l’assistenza dell’intelligenza artificiale e con revisione editoriale umana.
