Rischi e infausti scenari. Perché l’AI amplifica le nostre paure

C’è sempre bisogno di una fine del mondo imminente. Questa settimana due notizie hanno attraversato l’ecosistema mediatico. Il 9 settembre, Jacob Coxon, ricercatore che aveva lavorato tra OpenAI e Anthropic, ha annunciato le proprie dimissioni sostenendo che le due aziende stavano correndo verso un’intelligenza artificiale così potente da mettere a rischio le nostre vite. Il giorno dopo, Anthropic ha pubblicato un nuovo report sull’uso improprio dei propri modelli, documentando anche tentativi di utilizzare Claude per ricerche potenzialmente rilevanti per lo sviluppo di armi biologiche. Il rapporto di Anthropic è stato letto come una conferma delle dichiarazioni di Coxon e l’uno e le altre hanno rafforzato una narrazione con la quale i media flirtano da mesi: l’intelligenza artificiale come arma puntata verso l’umanità. Non stiamo parlando di punti di vista dubbiosi sull’effettivo potenziale dell’AI in termini di crescita, come ve ne sono fra gli economisti, e neppure di questioni legate all’effetto dei modelli linguistici su questa o quella professione. La minaccia sarebbe collettiva, generale e inarrestabile.

Michael Shermer ha notato che trasformare la fine del mondo in uno “scenario” garantisce grande attenzione mediatica e ha costi molto bassi per chi la vaticina: l’attenzione dei mezzi d’informazione si spegne con la stessa velocità con cui si è accesa e nessuno se la prende se l’oracolo non si realizza. Si potrebbe chiuderla qui, sottolineando come il passato sia pieno di fini del mondo previste e privo di fini del mondo avvenute. L’argomento ha però un limite: se una di quelle previsioni si fosse avverata, non ci sarebbe nessuno a registrarlo. Proviamo a prendere sul serio questi argomenti. Coxon sostiene che chi costruisce l’AI la ritiene capace di ucciderci tutti entro la fine del decennio; Evan Hubinger, che guida il gruppo di Alignment Stress-Testing di Anthropic, attribuisce a questa eventualità una probabilità superiore al 10 per cento (sempre nei prossimi dieci anni). Queste valutazioni riguardano scenari futuri legati a una possibile superintelligenza capace di auto-miglioramento, non i modelli attuali. Per usare la terminologia di Frank Knight, siamo nel campo dell’incertezza. Knight parlava di rischio quando la probabilità degli esiti è misurabile e di incertezza quando tale misura non è possibile.

Questo 10 per cento non è una probabilità ricavata da frequenze osservate o da un modello empiricamente validato: è il punto di vista di un esperto, uno scenario, costruito su una catena di ipotesi causali altamente incerte. Ci sarà una simile discontinuità? Quali forme assumerebbe? L’incertezza, però, vale nei due sensi: se la probabilità di una catastrofe non si può stimare, non le si può attribuire un valore alto e nemmeno uno basso. Il problema diventa come decidere quando i numeri mancano.

La storia dell’intelligenza artificiale contiene numerosi esempi di previsioni autorevoli che hanno collocato nel futuro prossimo capacità rivelatesi molto più lontane del previsto. Prima dello sviluppo su larga scala degli LLM, molti pensavano che fosse un programma di ricerca su un binario morto. L’accelerazione attuale è reale e senza precedenti. Ma ciò non significa che d’ora innanzi lo sviluppo dell’AI debba essere “esponenziale”. La superintelligenza ricorsivamente auto-migliorantesi rimane un’ipotesi di lavoro.

Il caso del report sui rischi biologici è diverso. Qui si tratta di casi osservati, per quanto pochi, e Anthropic parte dai suoi dati e sicuramente sa leggerli. Nei nove mesi considerati, alcuni utenti avevano impiegato Claude per ricerche di biologia dual use, utilizzabili cioè tanto per scopi terapeutici quanto, potenzialmente, per la manipolazione di patogeni. Nel caso più discusso, relativo a una proposta di ricerca gain-of-function sul chikungunya, Anthropic dichiara di non essere stata in grado di stabilire l’intento malevolo. Ha bloccato comunque la richiesta, con un criterio di precauzione molto rigido: di fronte a un pericolo specifico e grave, il dubbio sull’intento basta per fermarsi. A dirla tutta, l’unica cosa che ci ha confermato è che esistono individui pericolosi che usano l’AI (sorpresi?). L’intervento dell’azienda è un caso di auto-regolazione. Anthropic si è data una regola e l’ha applicata. Ha forti incentivi per comportarsi così: se si realizzasse veramente uno dei casi temuti dai catastrofisti, le ripercussioni potrebbero essere feroci. Analisi recenti sul terrorismo puntano in una direzione simile. L’AI può aumentare efficienza, accessibilità e scala di alcune attività criminali, soprattutto phishing, deepfake e attacchi informatici. Rimangono limitate le prove che abbia modificato in misura sostanziale le capacità operative necessarie per compiere attentati fisici. Un modello linguistico non elimina gli ostacoli principali per realizzarne uno: l’accesso ad agenti o esplosivi, le conoscenze tacite, l’organizzazione, la segretezza e l’accesso al bersaglio. Dimostrare che l’AI può fornire assistenza tecnica non equivale a dimostrare che abbia aumentato in modo significativo il rischio reale.

Il discorso pubblico, invece, vede il Ragnarök profilarsi all’orizzonte. Perché? In buona sostanza, per lo stesso motivo per cui ci interessano di più le cattive notizie delle buone. La mente umana è probabilmente più attrezzata a rilevare minacce che a stimarne con precisione la probabilità. I nostri sistemi cognitivi sono inclini ai falsi positivi. Sono evoluti in ambienti caratterizzati da minacce diffuse e da frequenti episodi di violenza. In quel contesto, scambiare un rumore innocuo per un predatore costa poco; l’errore inverso può essere fatale. L’AI amplifica le nostre paure per almeno tre ragioni. In primo luogo, colpisce il linguaggio, una capacità centrale nella rappresentazione che la nostra specie ha di sé: la minaccia è quindi anche identitaria. Da una parte vorremmo liquidare la macchina come un “pappagallo stocastico”, dall’altra immaginiamo ci condurrà all’estinzione. Le stesse persone riescono a condividere due credenze così evidentemente contraddittorie. In secondo luogo, per la prima volta una tecnologia di massa chiacchiera con chi la utilizza. L’effetto ELIZA mostrava già negli anni Sessanta quanto facilmente il linguaggio naturale induca attribuzioni di intenzionalità e agentività. Sistemi capaci di adattarsi all’interazione e personalizzarla rendono questa proiezione ancora più potente. In terzo luogo, molti dei gruppi professionali che percepiscono più direttamente la minaccia – giornalisti, traduttori, accademici – sono precisamente quelli che producono buona parte del discorso pubblico. Questo introduce un bias di selezione nella rappresentazione sociale della tecnologia.

I nostri antenati sentivano il vento sibilare nei cespugli e avevano due possibilità. Ragionare su quanto fosse probabile che il cespuglio celasse una bestia feroce. O scappare. Chi scappava sopravviveva più spesso. Noi siamo i loro discendenti e ragionare probabilisticamente non ci viene proprio naturale. Nel dibattito pubblico questo riflesso prende la forma del principio di precauzione: una tecnologia va fermata finché non se ne dimostra la sicurezza. Cass Sunstein ha osservato che, preso alla lettera, il principio si contraddice, perché anche rinunciare a una tecnologia comporta rischi, altrettanto difficili da stimare: rispetto agli stessi usi dell’AI che possono avere per esito armi biologiche, terapie non scoperte e ricerche rallentate. Aaron Wildavsky, in Searching for Safety, sosteneva che le società diventano più sicure soprattutto per tentativi ed errori, accumulando conoscenze e risorse con cui rispondere ai pericoli quando si manifestano. La prevenzione anticipata funziona quando il pericolo è noto e circoscritto, come nel caso del chikungunya. Estenderla a un’intera tecnologia, in nome di scenari dai contorni nebulosi, ci priva della conoscenza che si accumula con l’uso.