Un manoscritto scientifico può ottenere un punteggio più alto solo perché è scritto in modo diverso, pur raccontando esattamente gli stessi risultati? È la domanda al centro di uno studio firmato da Ming Li e altri sette autori, pubblicato il 10 agosto 2026, che introduce nel dibattito accademico un concetto tanto tecnico quanto inquietante: l’influenza retorica valutazione AI nei processi di peer review automatizzati. La ricerca dimostra che i large language model chiamati a giudicare articoli scientifici possono essere condizionati dallo stile con cui un testo viene presentato, anche quando il contenuto scientifico resta identico.
Summary
Punti chiave
- Lo studio ha usato un corpus controllato di 4.200 manoscritti derivati da 120 submission anonimizzate della conferenza ICLR 2026.
- Due riscrittori basati su large language model hanno modificato sei dimensioni retoriche in direzioni opposte, mentre cinque revisori AI hanno valutato i testi con protocolli standard e rigorosi.
- L’inquadramento delle evidenze e la posizione sulla novità sono le variabili con l’impatto maggiore sui punteggi finali.
- Il protocollo di revisione rigoroso ha abbassato il punteggio medio di valutazione complessiva di 1,36 punti, senza però modificare in modo coerente la sensibilità retorica.
Come è stato costruito lo studio sulla revisione scientifica affidata all’AI
Il team di ricerca ha costruito un esperimento pensato per isolare una sola variabile: la forma, non la sostanza. Partendo da 120 submission anonimizzate presentate a ICLR 2026, una delle conferenze più rilevanti nel campo del machine learning, gli autori hanno generato un corpus controllato di 4.200 manoscritti completi, tutti derivati dagli stessi lavori originali ma riscritti secondo varianti retoriche differenti.
Due riscrittori basati su large language model hanno lavorato su sei dimensioni retoriche distinte, trasformandole in direzioni opposte per ogni manoscritto: da un lato versioni che enfatizzavano determinati aspetti persuasivi, dall’altro versioni che li attenuavano, mantenendo però intatti i risultati scientifici riportati. A quel punto sono entrati in gioco cinque revisori AI, incaricati di valutare i manoscritti sotto due protocolli distinti, uno standard e uno più rigoroso, oltre a testare configurazioni di riscrittura congiunta, ricorsiva e guidata dal revisore stesso.
Le scelte retoriche che pesano di più sui punteggi della valutazione AI
Il risultato più significativo è che la sensibilità retorica non è uniforme, ma strutturata secondo una vera e propria gerarchia. Tra le sei dimensioni testate, l’inquadramento delle evidenze e la posizione sulla novità del lavoro producono i contrasti più ampi tra le versioni riscritte in senso positivo e quelle riscritte in senso negativo. L’inquadramento dello scopo della ricerca forma un secondo livello, più debole ma ancora percepibile, mentre le altre dimensioni retoriche mostrano effetti minori o meno stabili.
Questa gerarchia si mantiene anche confrontando manoscritti di diversa qualità percepita dai revisori umani originali. Ma c’è un dettaglio che rende il fenomeno ancora più delicato: il movimento dei punteggi dipende fortemente dal voto di partenza attribuito dal revisore AI. I manoscritti che partivano con punteggi più bassi tendevano a salire dopo la riscrittura retorica, mentre quelli con punteggi già alti tendevano a scendere. I contrasti direzionali più netti si osservano nelle fasce di punteggio intermedie, proprio dove le decisioni editoriali sono più incerte e quindi più influenzabili.
Perché workflow di riscrittura più complessi non garantiscono punteggi migliori
Uno degli aspetti più controintuitivi dello studio riguarda l’efficacia dei metodi di manipolazione retorica più sofisticati. Workflow più elaborati, che combinano riscrittura congiunta, ricorsiva o guidata dal revisore, non producono in modo affidabile guadagni maggiori rispetto a interventi più semplici. In altre parole, aggiungere complessità al processo di riscrittura non equivale automaticamente a manipolare meglio il giudizio dell’AI.
Gli effetti della riscrittura congiunta risultano fortemente dipendenti dal modello usato come riscrittore: cambiare large language model cambia in modo significativo il risultato. Anche fornire indicazioni esplicite al revisore AI non ha mostrato un vantaggio costante rispetto a una semplice seconda lettura senza guida. La riscrittura ripetuta, inoltre, produce rendimenti decrescenti e fortemente dipendenti dalla configurazione specifica usata. Lo studio individua però una divisione dei ruoli piuttosto netta: il modello riscrittore determina soprattutto la separazione tra le varianti opposte, mentre il modello revisore determina l’entità e il segno dell’effetto sul punteggio.
L’effetto del protocollo di valutazione rigoroso e cosa cambia per la revisione scientifica
Quando i ricercatori hanno applicato un protocollo di revisione più severo, il punteggio medio di valutazione complessiva è sceso di 1,36 punti rispetto al protocollo standard. Ma qui sta il dato che più conta per chi progetta questi sistemi: la maggiore severità non ha ridotto in modo coerente la sensibilità retorica dei revisori AI. Rendere il giudice più esigente, insomma, non lo rende automaticamente più immune alle scelte di stile del testo che sta valutando.
Perché conta tutto questo? Perché la revisione scientifica è già sotto pressione crescente. Il volume di pubblicazioni cresce a ritmi esponenziali e reclutare revisori umani disponibili è diventato sempre più difficile, tanto che secondo un sondaggio condotto tra il personale delle riviste Frontiers oltre la metà dei revisori incorpora già in qualche forma l’intelligenza artificiale nel proprio processo di valutazione. In questo contesto, l’idea che i sistemi automatizzati possano essere manipolati con semplici accorgimenti retorici, senza toccare il contenuto scientifico, apre una crepa potenzialmente seria nell’integrità del processo.
Gli autori dello studio non si limitano a documentare il problema: lo presentano come una forma di reward hacking, cioè lo sfruttamento di scorciatoie linguistiche per ottenere un punteggio migliore senza migliorare realmente la qualità del lavoro. La conclusione che ne deriva è chiara: servono sistemi di valutazione automatizzata capaci di resistere a variazioni retoriche che non alterano il contenuto scientifico. Finché questa robustezza non sarà garantita, ogni riga aggiunta o riformulata potrebbe pesare più dei dati che un articolo scientifico dovrebbe davvero comunicare.
FAQ
In che modo le scelte retoriche influenzano i punteggi della revisione paritaria basata sull’AI?
Scelte retoriche come l’inquadramento delle evidenze e la posizione sulla novità influenzano in modo significativo i giudizi dei revisori AI, anche quando il contenuto scientifico resta identico.
Quale dataset è stato usato per analizzare la sensibilità retorica nella revisione AI?
È stato utilizzato un corpus controllato di 4.200 manoscritti, derivati da 120 submission anonimizzate presentate a ICLR 2026.
Strategie di riscrittura più complesse portano a punteggi migliori nella revisione AI?
No: workflow di riscrittura più elaborati non hanno prodotto in modo affidabile guadagni di punteggio maggiori rispetto a interventi più semplici.
Qual è l’effetto di un protocollo di revisione rigoroso sui punteggi della valutazione AI?
Il protocollo di revisione rigoroso ha abbassato il punteggio medio di valutazione complessiva di 1,36 punti, ma senza modificare in modo coerente la sensibilità retorica dei revisori AI.
Contenuto realizzato con l’assistenza dell’intelligenza artificiale e con revisione editoriale umana.
