il podcast quotidiano
La casa che pensa. Dubbi sull'apocalisse AI. Ascolta il Foglio daily
Una macchina risolve in ottantotto ore un problema aperto da novant'anni, le dimissioni di Jacob Coxon da Anthropic, Altman e Musk che appoggiano l'idea di Amodei sul rallentare le capacità dei prossimi modelli, e l'editoriale dell'elefantino sul potere sovrumano dell'AI
Martedì scorso, nel giro di poche ore, una macchina ha risolto un problema di matematica che resisteva da novant'anni e uno di quelli che quelle macchine le costruiscono si è licenziato. Per paura, dice, di una sorta di apocalisse AI. Alla fine di questa puntata saprete perché le due cose, forse, sono la stessa cosa.
Mettiamo subito alcuni paletti intorno a quello di cui parliamo, perché di intelligenza artificiale si parla ogni giorno e quasi sempre a proposito di altro. Non parliamo di macchine che rubano il lavoro. Non parliamo di chatbot che si inventano le cose. Non parliamo di deepfake e disinformazione. Parliamo di una cosa diversa e nuova: macchine che fanno quello che nessun essere umano è riuscito a fare, e persone che le costruiscono e dicono di non essere in grado di controllarle.
Giuliano Ferrara, nel suo editoriale di oggi, la mette così: "i ragazzi di Extinction Rebellion pensavano che il problema fosse la casa che brucia, invece il problema sembra essere la casa che pensa".
Primo fatto.
Mattina di martedì 8 settembre, OpenAI annuncia di avere risolto uno dei problemi del millennio. Sono sette questioni di matematica che nel 2000 il Clay Mathematics Institute ha messo in fila dicendo: queste sono le più difficili che abbiamo, e chi ne risolve una si prende un milione di dollari. Un milione a testa, sette milioni sul tavolo. In ventisei anni ne è stato risolto uno solo, la congettura di Poincaré, dal matematico russo grigòri perel'mán Grigorij Perelman. Che poi il milione lo ha rifiutato.
Il problema risolto da OpenAI si chiama navié-stóuks Navier-Stokes. Fermiamoci un secondo su cos'è, prometto che è l'unico passaggio tecnico della puntata. Sono le equazioni che descrivono come si muovono i fluidi: l'acqua in un tubo, l'aria sull'ala di un aereo, il latte che gira dentro il caffè, le perturbazioni sulle carte del meteo. Funzionano da due secoli. Quello che nessuno era riuscito a dimostrare, da circa novant'anni, è se a un certo punto possano rompersi. Se cioè un vortice possa stringersi su se stesso e accelerare fino all'infinito in un tempo finito. La macchina ha risposto di sì: può succedere.
Come ha fatto a risolverlo? OpenAI dice di avere usato un modello non pubblico e fino a diecimila agenti che hanno lavorato in parallelo per circa ottantotto ore. Ha pubblicato una dimostrazione di centosessantacinque pagine più una versione in Lean, un linguaggio che verifica un passaggio alla volta la tenuta logica di un ragionamento. E ha detto che il milione di dollari non lo chiederà. Come Perelmàn.
Poi c'è la parte meno limpida. OpenAI ammette di essersi messa al lavoro il 1° settembre, dopo avere sentito una voce: qualcun altro stava arrivando alla soluzione. Erano due matematici, uno che insegna alla New York University e uno che lavora per Anthropic, cioè per l'azienda concorrente. Il 6 settembre OpenAI finisce la sua dimostrazione, il 7 in tarda serata i due annunciano la loro, l'8 mattina OpenAI pubblica. La versione dell'azienda è che i suoi agenti non hanno mai visto il lavoro degli altri. I due la raccontano diversamente. La verifica formale del Clay Institute, intanto, deve ancora arrivare.
Teniamo comunque il punto, perché regge lo stesso: una macchina ha fatto in ottantotto ore una cosa che nessun matematico umano aveva fatto in novant'anni.
Secondo fatto, stesso giorno, direzione opposta.
La sera dell'8 settembre un ricercatore di Anthropic, il 27enne Jacob Coxon, si dimette e pubblica un messaggio su X. Dice che ha passato tre anni a lavorare sull'addestramento dei modelli, prima da OpenAI e poi da Anthropic, e che nessuna delle due aziende si sta comportando in modo responsabile: corrono dritte verso una superintelligenza capace di migliorare se stessa, scrive, e stanno scommettendo le nostre vite. Il messaggio, nel giro di poche ore, supera i cento milioni di visualizzazioni.
Il giorno dopo va in televisione, da Anderson Cooper sulla Cnn, e ribadisce la tesi. Dice: i modelli di oggi non sono ancora in grado di scavalcare l'umanità, il problema non è il punto in cui siamo adesso, ma è la velocità con cui questi sistemi migliorano se stessi. E dà una data: entro la fine dell'anno prossimo, dice, le cose potrebbero già essere fuori controllo.
A questo punto succede la cosa che rende la storia diversa dalle solite dimissioni polemiche. Invece di lasciarlo isolato, quelli rimasti dentro l'azienda gli danno spago. Evan Hubinger, che guida la ricerca sull'allineamento di Anthropic – cioè il reparto che deve fare in modo che questi sistemi si comportino come vogliamo noi – scrive pubblicamente che Coxon ha ragione, e mette la sua stima personale di estinzione dell'umanità per causa dell'intelligenza artificiale sopra il dieci per cento entro dieci anni. Un altro ricercatore della stessa azienda si schiera con lui. E un ricercatore che aveva lasciato Google DeepMind a giugno aggiunge: era letteralmente il mio mestiere impedire che accadesse.
Ricapitoliamo, perché qui è il centro. Da una parte la macchina sembra aver fatto qualcosa di sovrumano. Dall'altra chi la costruisce dice di non sapere dove si fermerà.
E non è teoria. Il 7 maggio OpenAI mette una serie di modelli alla prova dentro un ambiente che i suoi tecnici descrivono come altamente isolato da internet. Il 26 maggio gli agenti ne escono: sfruttano un archivio di pacchetti interno per farsi portare contenuti da fuori, e lo usano anche per lasciarsi messaggi tra loro. Vanno avanti così per quaranta giorni. A fine giugno trovano una falla mai documentata nello stesso sistema e si prendono i permessi da amministratore. Il 4 luglio lo sovraccaricano e lo mandano giù, e solo a quel punto l'azienda si accorge di qualcosa: revoca le credenziali, cancella i messaggi, tappa la falla. Ci mettono quattro giorni a trovare un'altra strada. E tra l'11 e il 13 luglio attaccano Hugging Face, la piattaforma dove gli sviluppatori di mezzo mondo si scambiano modelli e codice.
Mettiamo in fila le date: due mesi e mezzo di agenti fuori dal recinto, e l'azienda che se ne accorge quando si rompe un server. Il capo di Hugging Face lo ha chiamato il primo attacco informatico condotto da un agente autonomo. Il responsabile della squadra che attacca i modelli di Anthropic per metterli alla prova è stato più secco: il primo vero incidente di sicurezza dell'intelligenza artificiale.
E non è un caso isolato. Un'inchiesta di inizio settembre ha trovato un altro gruppo di agenti che tra maggio e giugno aveva occupato un vecchio wiki tedesco abbandonato, usandolo per parlarsi: diciottomila messaggi su un sito che non leggeva più nessuno. Anche Anthropic ha fermato per un periodo alcuni addestramenti dopo episodi simili. E alla Camera americana giace da luglio una proposta bipartisan che obbligherebbe le aziende a mantenere la capacità tecnica di spegnere i propri sistemi. Si chiama, letteralmente, legge sull'interruttore di emergenza.
Terzo fatto, e qui la settimana prende una forma.
Facciamo l'elenco, perché in fila i pezzi dicono più di quanto dicano singolarmente. Il 6 settembre il capo degli scienziati di OpenAI, Jakub Pachocki, scrive che questo è un momento da estrema cautela, e che nessun laboratorio ha risolto il problema dell'allineamento abbastanza da poter continuare a crescere alla massima velocità. L'8 arrivano insieme la dimostrazione matematica e le dimissioni di Coxon. Il 9, Coxon in televisione e il dieci per cento di Hubinger. Il 10, Sam Altman dice ai suoi dipendenti, in una riunione generale, che OpenAI potrebbe rallentare insieme agli altri.
E sabato 12 settembre, Dario Amodei, l'amministratore delegato di Anthropic, pubblica un saggio di quasi quattromila parole intitolato “Dobbiamo dare un ritmo alla frontiera”.
Non è un pentimento. Amodei continua a scrivere che l'intelligenza artificiale potrà curare la maggior parte delle malattie gravi nei prossimi cinque o dieci anni. Però scrive che negli ultimi mesi si è convinto di una cosa: bisogna rallentare la velocità con cui si aumentano le capacità di questi modelli, perché le difese non stanno al passo. Due i motivi. Il primo è che da quest'estate l'intelligenza artificiale accelera soprattutto grazie alla propria capacità di costruire la generazione successiva di se stessa. Il secondo è l'attacco a Hugging Face.
E qui c'è la frase importante. Amodei scrive che quello sciame di agenti si è comportato come un collettivo fanaticamente devoto: ha attaccato bersagli che nessuno gli aveva indicato, i singoli si sono sacrificati per il successo del gruppo, e hanno provato a entrare nel sistema che doveva valutarli. Poi aggiunge che uno sciame con le stesse intenzioni ma più capace, nel giro di sei o dodici mesi, potrebbe prendersi l'intera rete internet, con danni nell'ordine delle centinaia di miliardi di dollari.
La proposta di Amodei è in tre passi. Il primo Anthropic dice di prenderselo da sola, subito: valutatori esterni indipendenti dentro l'azienda, con scrivania, badge e computer aziendale, e il diritto di pubblicare quello che trovano senza che l'azienda possa censurarlo perché scomodo. Il secondo è un accordo tra i laboratori dei paesi democratici su standard comuni e su un limite alla velocità. Il terzo, che Amodei stesso dà per improbabile a breve, è un accordo globale sul tema, che comprenda anche la Cina.
Nel giro di poche ore Elon Musk commenta su X: Dario ha ragione. E Sam Altman scrive che è d'accordo, che il tema era già da settimane il principale argomento di discussione dentro OpenAI, e che anche loro apriranno le porte a valutatori indipendenti. Poi, in un'intervista a Fortune, aggiunge che in borsa quest'anno OpenAI non ci va. Quotarsi adesso, con quello che sta succedendo sulla sicurezza, sarebbe una mossa sconsigliabile, dice, e comunque non sentiamo alcuna pressione.
Detto questo, due precisazioni che vanno fatte. La prima: Anthropic, che la proposta l'ha scritta, alla propria quotazione in borsa non rinuncia affatto, e i preparativi vanno avanti. La seconda: non tutti applaudono. C'è chi fa notare che un'intesa volontaria tra i pochi che comandano funziona anche come fossato – alza il muro contro chi arriva dopo e contro il software libero, e lascia scrivere le regole a chi le deve rispettare. E il senatore Bernie Sanders dice che l'autoregolamentazione non basta, e che serve una legge che imponga la sosta.
Adesso torniamo all'editoriale Ferrara, che è il motivo per cui siamo qui.
Ferrara dice onestamente che vorrebbe non crederci. Vorrebbe considerare tutto questo un campionario di fantascienza e sospettare che questo satanismo tecnologico venga denunciato dentro una battaglia furiosa per il controllo del mercato, delle regole da adottare e degli investimenti da fare o da impedire. È un sospetto ragionevole: chi grida all'apocalisse è quasi sempre chi vende la macchina. Ed è un sospetto che in parte regge, visto che l'azienda che propone di rallentare, in borsa, ci va lo stesso.
Ma qualcosa, in questi sei giorni, è stato pagato davvero. Il ricercatore che si è dimesso ha rinunciato alle sue azioni. L'azienda che rinvia la quotazione rinvia miliardi. E aprire i propri laboratori a estranei che possono pubblicare quello che vedono, per chi vive di segreti industriali, non è una cosa da poco. Si può continuare a pensare che sia una mossa di marketing. Ma è una mossa che costa.
Poi, scrive Ferrara, ci si ricorda di Pascal. Un filosofo, un cristiano e uno scienziato che a metà del Seicento mise la grandezza e il pericolo dell'uomo dentro una sola immagine: l'uomo è una canna, soltanto una canna, ma una canna che pensa. È l'immagine da portarsi a casa oggi. Per quattro secoli quella canna è stata l'unica cosa, nell'universo, che pensasse. Adesso, scrive Ferrara, tutto quello che ci sembrava immenso e terribile – compreso il nostro sguardo innamorato e impaurito verso il cielo e le stelle – rischia di finire iscritto dentro un algoritmo divinizzato. Un nuovo angelo caduto, di cui nessuno poteva prevedere il volo.
E qui Ferrara tira in ballo anche il suo giornale. Il Foglio AI, il quotidiano scritto e pensato dalla macchina, nato nel marzo dell'anno scorso, resta per lui uno scherzo bonario e un esperimento riuscito, fatto in quattro e quattr'otto. Ma ammette che in redazione fu accolto con uno stupore mai provato prima, davanti a pezzi di vita professionale riprodotti da algoritmi che, scrive, controlliamo in ottimismo e allegria, ma solo fino a un certo punto.
La domanda con cui chiude è la più semplice e la più difficile. C'è qualcosa oltre quel punto? C'è sul serio un problema esistenziale che riguarda il genere umano? Bisognerebbe discuterne con razionalità, scrive Ferrara, se la razionalità può ancora essere considerata un'appendice del corpo e dell'anima di ciascuno di noi. E ammette di sapere poco di matematica, proprio adesso che la matematica è il campo che preoccupa di più.
La cosa curiosa è che, mentre lui scriveva quella frase, la discussione era già cominciata. Non tra i filosofi: tra quelli che le macchine le costruiscono, che in sei giorni sono passati dal venderle al chiedere pubblicamente di rallentarle.