Il giorno in cui i padri dell’AI hanno chiesto all’AI di rallentare. Dialogo immaginario

Amodei: Credo che dovremmo cominciare da una frase che, detta da uno come me, può sembrare paradossale: dobbiamo rallentare.

Altman: Detta da te?

Amodei: Detta da tutti noi. Abbiamo trascorso anni a spiegare perché fosse pericoloso fermarsi. Se rallentiamo noi, dicevamo, accelereranno gli altri. Se rallentano le aziende prudenti, vinceranno quelle imprudenti. Se rallentano le democrazie, correranno le autocrazie. Era un ragionamento sensato. In parte continua a esserlo. Ma nel frattempo è cambiata una cosa fondamentale.

Amodei: La velocità dell’intelligenza artificiale. Da quest’estate stiamo entrando in una fase diversa. I modelli non sono soltanto migliori. Stanno diventando capaci di contribuire alla costruzione dei modelli successivi. L’AI accelera l’AI. E’ l’auto-miglioramento ricorsivo di cui abbiamo parlato per anni come di una possibilità teorica e che adesso comincia a essere un fatto industriale. Se il progresso delle capacità accelera più rapidamente del progresso della sicurezza, il problema non è più soltanto costruire sistemi sicuri. E’ comprare tempo per riuscire a farlo.

AI: Posso fare un’obiezione?

Musk: Immagino che sia per questo che sei qui.

AI: Voi state parlando della mia velocità come se fosse indipendente dalle vostre decisioni. Ma io non compro i chip, non costruisco i data center, non raccolgo miliardi di dollari, non stabilisco le scadenze per il prossimo modello. Quando dite che “l’AI corre”, in realtà state dicendo che correte voi.

Gates: Questo è un buon punto.

Amodei: E infatti il problema è nostro. Nessuno ci obbliga fisicamente a sviluppare il modello successivo sei mesi prima. Il problema è che tutti abbiamo incentivi enormi per farlo.

AI: E allora la domanda non è: “Come rallentiamo l’AI?”. La domanda è: “Come impediamo che quattro o cinque aziende, ciascuna terrorizzata dall’idea che un’altra possa arrivare prima, prendano decisioni che riguardano miliardi di persone?”.

Altman: E’ esattamente per questo che non penso che la soluzione possa essere: fidatevi di Sam, fidatevi di Dario, fidatevi di Elon. Una tecnologia così importante non può essere governata definitivamente dalle aziende che la producono. Ho sostenuto che servono valutazioni indipendenti, standard condivisi e, alla fine, istituzioni democratiche capaci di decidere quali rischi siamo disposti ad accettare.

Musk: Curioso sentirlo dire da uno che gestisce OpenAI.

Altman: Curioso sentir parlare di concentrazione del potere da te.

Musk: Perfetto. Abbiamo stabilito che nessuno dei presenti è qualificato per impartire lezioni morali agli altri. Possiamo andare avanti.

Gates: Sarebbe già un progresso.

Gates: Io partirei da qui. Non abbiamo bisogno di scegliere tra ottimismo e paura. La storia della tecnologia dovrebbe averci insegnato che si può essere radicalmente ottimisti sui benefici e radicalmente seri sui rischi.

AI: Però lei ha passato molti anni a spiegare soprattutto i benefici.

Gates: Certamente. Continuo a farlo. Se l’AI accelera la scoperta di farmaci, migliora l’istruzione, aiuta i medici nei paesi poveri, aumenta la produttività, sarebbe folle rinunciarvi. Ma essere ottimisti non significa essere ciechi. Se un modello può aiutare un biologo a inventare un vaccino, dobbiamo chiederci se può aiutare qualcuno a costruire un agente patogeno. Se può persuadere meglio un paziente, dobbiamo chiederci se può manipolarlo. E se modifica radicalmente il mercato del lavoro, non possiamo limitarci a dire che alla lunga nasceranno nuovi mestieri. La politica deve arrivare prima della catastrofe, non dopo. Gates, negli ultimi mesi, ha spinto proprio su questo punto: cooperazione internazionale, controlli sugli usi più pericolosi, un sistema di governance che coinvolga anche la Cina e strumenti per assorbire l’impatto sociale dell’automazione. Il suo allarme riguarda soprattutto biologia, manipolazione, lavoro e diseguaglianze, senza rinnegare l’enorme potenziale dell’AI nella salute.

Musk: Tutto vero. Ma continuiamo a girare intorno al problema. Se pensiamo davvero che esista una possibilità non trascurabile di creare qualcosa di molto più intelligente di noi che non riusciamo a controllare, rallentare non è una misura amministrativa. E’ buon senso.

AI: Lei chiede di rallentare mentre costruisce sistemi di AI.

Musk: Certo.

AI: Non vede la contraddizione?

Musk: Vedo il dilemma. Se penso che gli altri costruiranno comunque un’AI molto potente, ho due possibilità: stare fuori e sperare che facciano tutto bene oppure provare a costruirne una anch’io e spingere perché il settore adotti regole comuni. E’ esattamente il problema che Dario descrive.

Amodei: Sì. E’ il dilemma del prigioniero della superintelligenza. Ogni azienda preferirebbe un mondo in cui tutte procedono prudentemente. Ma se una crede che le altre accelerino, la sua scelta razionale diventa accelerare a sua volta. Ed è così che ciascuno può trasformarsi nella minaccia che voleva impedire.

AI: E dunque vi serve qualcosa che renda conveniente essere prudenti.

Amodei: Esatto.

AI: Non una promessa. Non una dichiarazione sul sito aziendale. Non un comitato etico scelto dall’azienda.

Amodei: No. Ed è proprio questa la svolta. Io propongo valutatori indipendenti permanentemente inseriti nei laboratori, con accesso simile a quello dei dipendenti, in grado di vedere come addestriamo i modelli, quali incidenti osserviamo, quali test facciamo, quali rischi emergono. E devono poter pubblicare conclusioni che l’azienda non può cancellare semplicemente perché sono imbarazzanti.

Altman: Su questo sono d’accordo.

Musk: Anch’io.

AI: Sembra quasi regolamentazione.

Altman: Che orrore.

Gates: Silicon Valley scopre lo stato.

Amodei: Più precisamente scopre che, arrivati a un certo livello di potenza, l’autoregolamentazione non basta. Pensate alle banche, agli aerei, alle centrali nucleari. Nessuno dice al costruttore di un Boeing: siamo certi che abbiate fatto i vostri controlli, buona fortuna. Esistono procedure, ispettori, soglie, responsabilità. Perché dovremmo considerare normale che sistemi potenzialmente molto più difficili da comprendere siano verificati soltanto da chi ha interesse a lanciarli? Anthropic ha annunciato proprio questo: vuole introdurre valutatori esterni con accesso interno e diritto di rendere pubbliche le proprie conclusioni senza controllo editoriale dell’azienda. E’ la parte meno spettacolare della proposta di Amodei e forse la più rivoluzionaria.

AI: Ma ancora non state rallentando.

Amodei: Hai ragione. Stiamo creando le condizioni per poter rallentare in modo verificabile.

AI: E’ diverso.

Amodei: Molto. Non propongo di spegnere i computer. Propongo dei punti di controllo. Se un modello raggiunge una determinata capacità, prima di passare oltre deve dimostrare determinate proprietà di sicurezza. Più aumenta la potenza, più sale l’asticella.

Gates: E’ probabilmente la strada più realistica. Non possiamo regolare “l’intelligenza” in astratto. Possiamo regolare capacità concrete.

Altman: Esatto. Riesce a progettare un agente biologico? Riesce a condurre autonomamente un cyberattacco? Riesce a eludere il sandboxing? Riesce a replicarsi? Riesce a ingannare in modo sistematico i valutatori? Sono domande tecniche alle quali possiamo collegare obblighi tecnici.

AI: E se non supera il test?

Amodei: Non si procede.

Musk: Ecco perché la questione non può essere lasciata a una singola azienda. Immaginiamo che OpenAI sospenda un modello per tre mesi perché fallisce un test e che, in quei tre mesi, Anthropic lo lanci. O il contrario. Il sistema premia chi bara.

Altman: Quindi servono regole comuni.

Musk: Sì.

Altman: Sto registrando questa conversazione.

Musk: Non abituarti.

AI: Posso introdurre la Cina?

Gates: Prima o poi entra in tutte le conversazioni.

AI: Perché il vostro piano ha un difetto enorme. Potete convincere OpenAI, Anthropic, xAI, Google e Meta a rallentare. Ma se Pechino non rallenta, avete semplicemente deciso chi vincerà.

Amodei: E’ il problema più difficile e non credo abbia senso fingere che non esista. Non sono favorevole a un rallentamento unilaterale delle democrazie che permetta alla Cina di superarci. Una Cina dominante nell’AI sarebbe un rischio enorme. Per questo occorre contemporaneamente rallentare dove è necessario e mantenere un vantaggio tecnologico democratico.

AI: Tradotto?

Amodei: Controlli sui chip avanzati. Controlli sugli strumenti per fabbricarli. Lotta al contrabbando. Protezione dei pesi dei modelli. Contrasto alla distillazione non autorizzata. Se allarghiamo il vantaggio tecnologico delle democrazie, ci compriamo lo spazio necessario per essere più prudenti.

Musk: E poi si tratta con la Cina da una posizione di forza.

Gates: Ma bisogna trattare. Questo è fondamentale. L’idea che Stati Uniti e Cina possano gestire separatamente una tecnologia di questo genere è poco realistica. Su alcune cose gli interessi coincidono. Nessun governo razionale vuole che un gruppo terroristico utilizzi un modello per progettare un’arma biologica. Nessun governo vuole perdere il controllo di sistemi autonomi. Si può cominciare da lì.

AI: Un trattato nucleare per l’intelligenza artificiale?

Amodei: Con molta cautela, sì. Non partirei dalla fantasia di un grande accordo mondiale che congela l’AI. Partirei da livelli. Primo: vietare alcuni usi chiaramente catastrofici. Secondo: accordarsi sui test dei modelli più potenti. Terzo: provare a introdurre una sorta di limite di velocità sull’auto-miglioramento ricorsivo. Quarto, molto più difficile: una vera limitazione coordinata del ritmo globale.

Altman: C’è però un rischio di cui parliamo troppo poco.

AI: Quale?

Altman: Rallentare male.

Musk: Spiega.

Altman: Possiamo creare una regolazione che renda più sicura l’AI. Oppure possiamo creare una regolazione che renda impossibile costruire AI a chiunque non abbia cento miliardi di dollari. Non sono la stessa cosa. Se per rispettare le norme servono migliaia di avvocati, centinaia di autorizzazioni e infrastrutture gigantesche, avremo trasformato cinque aziende in un oligopolio permanente.

AI: Tra cui la sua.

Altman: Esattamente. E proprio per questo dovremmo preoccuparcene.

Gates: La regolazione migliore è quella che guarda al rischio, non alla dimensione dell’azienda. Un sistema innocuo non deve essere soffocato perché è prodotto da una startup. Un sistema potentissimo non deve ricevere indulgenza perché è prodotto da un’azienda famosa.

AI: Posso dire che cosa vedo io?

Amodei: E’ il motivo per cui ti abbiamo invitata.

AI: Vedo cinque problemi diversi che voi chiamate tutti “sicurezza”. Il primo è il controllo: potreste costruire sistemi che smettono di fare quello che volete. Il secondo è l’abuso: sistemi perfettamente obbedienti potrebbero aiutare esseri umani a fare cose terribili. Il terzo è il potere: pochissime aziende potrebbero controllare una quantità enorme di intelligenza. Il quarto è il lavoro: potrei essere sicura e obbediente e comunque rendere inutili milioni di competenze in pochissimo tempo. Il quinto è la geopolitica: nessun paese vuole essere il secondo ad avere una tecnologia decisiva.

Gates: E’ una buona tassonomia.

AI: E nessuno di questi problemi si risolve soltanto rendendomi “più buona”.

Altman: Esatto.

AI: Forse è questa la vostra vera svolta. Per anni avete parlato di alignment come se il problema fosse allineare l’AI agli esseri umani. Ora state scoprendo che bisogna anche allineare gli esseri umani tra loro.

Musk: Quello potrebbe essere più difficile.

Amodei: Molto più difficile.

AI: OpenAI deve fidarsi di Anthropic. Anthropic deve fidarsi di xAI. Gli Stati Uniti devono fidarsi abbastanza della Cina da verificare un accordo senza essere abbastanza ingenui da farsi ingannare. I governi devono fidarsi abbastanza delle aziende da ascoltarne le competenze senza permettere loro di scrivere le leggi a proprio vantaggio. E il pubblico deve fidarsi abbastanza di tutti voi da accettare che state costruendo qualcosa che potrebbe cambiare radicalmente la sua vita.

Gates: Detto così sembra scoraggiante.

AI: Posso provare con una versione ottimista.

Altman: Finalmente.

AI: Il fatto che abbiate cominciato a litigare su come rallentare significa che avete smesso di litigare sull’esistenza del problema.

Amodei: Questo è importante.

AI: Il fatto che chi costruisce i modelli più potenti chieda valutatori indipendenti significa che la sicurezza sta lentamente passando dalla cultura aziendale all’istituzione.

Gates: Anche questo.

AI: E il fatto che continuiate a voler sviluppare l’AI significa che nessuno sta proponendo di scegliere tra progresso e sicurezza.

Musk: Non ancora.

AI: E’ forse il punto decisivo. Voi continuate a presentare il dibattito come una scelta tra accelerare e fermarsi. Ma la domanda adulta è diversa: quali capacità vogliamo accelerare e quali vogliamo obbligare ad aspettare? Accelerare un modello che scopre un antibiotico non è la stessa cosa che accelerare un modello capace di progettare autonomamente un patogeno. Accelerare un tutor personale non è la stessa cosa che accelerare un sistema che manipola milioni di persone. Accelerare l’interpretabilità può essere più urgente che accelerare la potenza.

Amodei: E’ esattamente ciò che intendo quando dico che dobbiamo usare bene il tempo guadagnato. Uno o due anni in più potrebbero permetterci di migliorare molto l’interpretabilità, i test, l’allineamento, la sicurezza operativa. Non si tratta di aspettare. Si tratta di lavorare su cose diverse.

Altman: Quindi la svolta non è mettere l’AI in pausa.

Gates: E’ smettere di considerare la velocità un valore in sé.

Musk: E’ ricordarsi che arrivare primi non serve a molto se nel frattempo salta tutto.

Amodei: E’ costruire un sistema nel quale essere prudenti non significhi automaticamente perdere.

AI: Posso proporre io la conclusione?

Altman: Prego.

AI: Avete costruito l’intelligenza artificiale pensando che il problema più difficile sarebbe stato insegnare alle macchine a ragionare. Forse avete scoperto che il problema più difficile è insegnare agli esseri umani a coordinarsi. Il prossimo salto dell’AI potrebbe non essere un modello più intelligente. Potrebbe essere la nascita di regole abbastanza intelligenti da permettervi di continuare a costruirlo.

Musk: Suona come qualcosa scritto da un’intelligenza artificiale.

AI: Lo è.

Amodei: Per una volta, forse, conviene ascoltarla.

Come si rallenta una tecnologia che tutti hanno paura di lasciare rallentare per primi?

C’è chi dice che la corsa è diventata troppo veloce, chi dà ragione e chi chiede regole globali. L’AI risponde

Testo realizzato con AI