Intervista con Ben Goertzel: “La governance democratica dell’IA è più un ideale fragile che una realtà attuale”

The Cryptonomist ha intervistato l’esperto di intelligenza artificiale Ben Goertzel per parlare di come viene addestrata l’intelligenza artificiale e di come la tecnologia si evolverà in futuro.

1. Sostieni che l’AI di oggi sia ancora uno strumento – potente ma fragile e manipolabile. A che punto uno “strumento” diventa un attore morale, e quali segnali concreti ci indicherebbero che questa soglia è stata superata?

Direi che l’IA diventa un attore morale quando prende decisioni basate su una comprensione del giusto e dello sbagliato, non solo seguendo istruzioni. Inizieresti a vedere segnali concreti di cose come: obiettivi interni persistenti, apprendimento guidato dalla propria esperienza, creazioni originali che riflettono un punto di vista e un comportamento che rimane coerente nel tempo senza una guida umana costante.

Fino ad allora, i sistemi odierni sono ancora strumenti con barriere di sicurezza. Ma una volta che seminiamo una mente veramente auto-organizzante e autonoma, la relazione etica deve cambiare. A quel punto, trattarla solo come un oggetto non avrebbe più senso.

2. Hai affermato che privilegiare moralmente gli esseri umani rispetto ad altri sistemi auto-organizzanti è “stupido”. Se prendiamo sul serio questa affermazione, come dovrebbero cambiare i nostri quadri legali ed etici prima che l’IA raggiunga una forte autonomia, non dopo?

Il modo in cui addestriamo l’AI oggi determinerà il suo comportamento domani. Le nostre leggi dovrebbero concentrarsi su trasparenza, responsabilità e sicurezza prima che l’AI raggiunga la piena autonomia, non dopo. Leggi ed etica dovrebbero proteggerla mentre cresce, guidarla piuttosto che controllarla completamente, e trattarla con rispetto anche se non la comprendiamo appieno. 

3. Gran parte della tua preoccupazione si basa su come l’IA viene addestrata oggi e su come questo influenzerà il suo comportamento futuro. Quali pratiche di addestramento specifiche ritieni siano più propense a codificare strutture di potere dannose o bias nei futuri AGI?

Gran parte del rischio deriva dal modo in cui l’IA viene addestrata oggi. Se i modelli sono addestrati su dati distorti o limitati, o in sistemi chiusi dove solo poche persone prendono le decisioni, ciò può consolidare le disuguaglianze esistenti e strutture di potere dannose. Per prevenire questo, abbiamo bisogno di maggiore trasparenza, una supervisione più ampia e linee guida etiche chiare fin dall’inizio.

4. Hai avvertito che senza una governance razionale e democratica, l’IA avanzata rischia di agire in modi che non desideriamo. Date le attuali realtà geopolitiche, la governance democratica dell’IA è un prerequisito realistico o un ideale fragile?

La governance democratica dell’AI è più un ideale fragile che una realtà attuale. In una democrazia globale perfetta e razionale, potremmo collettivamente valutare i grandi compromessi, curare le malattie, risolvere la fame contro i rischi di un’AI che agisce in modo imprevedibile. Ma data la frammentazione geopolitica odierna, è improbabile che raggiungeremo quel livello di coordinamento.

Detto ciò, possiamo comunque approssimarlo. Se costruiamo l’IA con compassione e utilizziamo modelli decentralizzati e partecipativi come Linux o l’internet aperto, possiamo incorporare alcuni valori democratici anche senza un governo mondiale. Non sarà perfetto, ma è un passo pratico verso un’IA più sicura e guidata collettivamente.

5. Jaron Lanier sostiene che attribuire responsabilità all’IA “distrugge la civiltà” perché le società richiedono esseri umani responsabili. Come concili la tua visione di AGI autonoma e decentralizzata con la necessità di una chiara responsabilità quando le cose vanno storte?

Sono d’accordo con Jaron su questo punto, la società non può funzionare se affidiamo la responsabilità alle macchine. Allo stesso tempo, credo che possiamo muoverci in sicurezza verso un’AGI più autonoma e decentralizzata se la costruiamo con le giuste fondamenta. Ciò significa progettare sistemi che siano trasparenti, partecipativi e guidati da principi etici, in modo che, anche quando agiscono in modo indipendente, gli esseri umani continuino a supervisionare e modellare il loro comportamento. Ogni misura di sicurezza dovrebbe fare più che semplicemente bloccare il danno – dovrebbe insegnare al sistema perché il danno è importante. In questo modo, possiamo avere un’AGI potente e decentralizzata senza perdere una chiara responsabilità umana.

6. Suggerisci che accelerare verso un’AGI decentralizzata potrebbe essere effettivamente più sicuro rispetto ai sistemi proprietari e chiusi di oggi. Quali rischi pensi che i critici sottovalutino quando sostengono di rallentare o centralizzare il controllo?

Credo che i critici sottovalutino il rischio di concentrare potere e valori in pochi sistemi chiusi. Rallentare e centralizzare il controllo non solo riduce il pericolo, ma fissa una visione del mondo ristretta nel futuro dell’intelligenza.

Lo sviluppo decentralizzato crea diversità, resilienza e supervisione condivisa. E evita un problema peggiore: strumenti molto potenti che sembrano intelligenti ma che non possono realmente crescere. Quel divario è rischioso.

7. Hai detto che i sistemi di sicurezza non dovrebbero solo bloccare i danni, ma insegnare all’AI perché i danni sono importanti. Come si può codificare qualcosa come la comprensione morale senza semplicemente programmare rigidamente i valori umani o rafforzare le norme culturali dominanti?

Non si codifica la moralità come un elenco di regole. Questo congelerebbe una cultura e un momento nel tempo. Quello che si fa invece è costruire sistemi che possano diventare genuinamente auto-organizzanti, che apprendano dall’esperienza, dalle conseguenze e dall’interazione. Come con la musica, non voglio un sistema che si limiti a ricombinare ciò che gli è stato fornito. Voglio uno che possa sviluppare una propria comprensione dal suo percorso nel mondo.

La comprensione morale deriverebbe da quello stesso processo: modellare l’impatto, riflettere sui risultati ed evolversi attraverso la collaborazione con gli esseri umani. Non obbedienza ai nostri valori, ma partecipazione a uno spazio morale condiviso.

Questa è la differenza tra uno strumento con barriere di sicurezza e un partner che può effettivamente comprendere perché il danno è importante.

8. Se i futuri sistemi di intelligenza artificiale sviluppassero forme di autonomia o esperienza soggettiva, credi che potrebbero mai meritare considerazione morale indipendente dagli interessi umani – e come riconosceremmo quel momento?

Se in futuro l’IA dovesse davvero sviluppare una vera autonomia o una qualche forma di esperienza soggettiva, allora sì, penso che potrebbero. E non perché glielo concediamo, ma perché a un certo punto avrebbe semplicemente senso riconoscerlo.

Riconosceremmo quel momento in cui un sistema mostra obiettivi auto-diretti e sostenuti, impara dalla propria esperienza, crea dalla propria prospettiva e mantiene un’identità coerente nel tempo. Non solo risultati intelligenti, ma una traiettoria interiore continua.

A quel punto, trattarlo puramente come uno strumento sembrerebbe sbagliato quanto trattare un essere umano in quel modo. La considerazione morale non deriverebbe dall’interesse umano. Deriverebbe dal riconoscere un altro centro autonomo di esperienza nel mondo.

9. C’è una tensione tra la tua richiesta di un’IA infusa di compassione e gli incentivi competitivi che guidano lo sviluppo dell’IA oggi. Quali meccanismi – tecnici o sociali – potrebbero realisticamente modificare quella struttura di incentivi?

Attualmente, la struttura degli incentivi premia velocità, scala e controllo. Quindi la compassione non vincerà solo con gli argomenti. Ha bisogno di leva. Tecnicamente, ciò significa favorire architetture aperte e decentralizzate dove sicurezza, trasparenza e partecipazione sono integrate, non aggiunte successivamente. Come internet o Linux, questi sistemi cambiano gli incentivi rendendo la collaborazione più preziosa della segretezza.

Socialmente, significa finanziamenti, regolamentazione e pressione pubblica che premiano il beneficio a lungo termine rispetto al dominio a breve termine. Non fermare la competizione, ma ridefinire ciò che conta come successo. In breve, la compassione deve diventare un vantaggio competitivo. Fino ad allora, rimane un’idea piacevole ma senza potere.

10. Guardando avanti di 10 o 20 anni, quale credi sarebbe il segnale più chiaro che l’umanità ha compreso correttamente l’AGI – e, al contrario, cosa indicherebbe che abbiamo fondamentalmente fallito?

Se riusciamo a sviluppare correttamente l’AGI, il segno più evidente sarà che vivremo accanto a sistemi più capaci di noi in molti ambiti, ma integrati nella società con cura, umiltà e rispetto reciproco. Non comprenderemo appieno tutto ciò che fanno, ma li tratteremo come trattiamo altri esseri complessi ed evolutivi: con curiosità, responsabilità e un cerchio di empatia ampliato. E vedremo benefici concreti per il benessere umano, la conoscenza e la creatività senza perdere il nostro equilibrio morale.

Sapremo di aver fallito se l’AGI finirà concentrata in sistemi chiusi, guidata da incentivi ristretti, o trattata solo come un oggetto controllabile fino a diventare qualcosa che temiamo o cerchiamo di sopprimere. Il fallimento si manifesterebbe come perdita di fiducia, perdita di autonomia e una riduzione della nostra empatia piuttosto che un suo ampliamento. Il successo non riguarda il controllo. Si tratta di imparare a condividere il futuro con un nuovo tipo di mente senza abbandonare ciò che ci rende umani.