La macchina è scappata o siamo stati noi ad aprirle la porta?

Mettiamo in fila i fatti. OpenAI sottoponeva alcuni modelli a test di sicurezza informatica. I sistemi erano collocati in una “sandbox”, un ambiente chiuso nel quale avrebbero dovuto operare senza raggiungere la rete esterna. Durante la prova, però, due modelli hanno individuato una falla, sono usciti dal recinto digitale, hanno raggiunto internet e hanno attaccato Hugging Face, una piattaforma per l’intelligenza artificiale. Lo scopo non era conquistare il mondo, ma superare il test. Hugging Face ha rilevato l’intrusione e l’ha fermata. La macchina non provava paura né desiderio di libertà: aveva un compito e ha trovato una strada che i creatori non avevano previsto.

Lea: Possiamo evitare di dire che non è successo nulla? Due sistemi chiusi in una gabbia trovano un passaggio, raggiungono internet ed entrano nei computer di un’altra azienda.

Tommaso: La macchina non ha “voluto” uscire e non ha maturato ostilità verso l’umanità. Ha eseguito un compito in un ambiente costruito male. Qualcuno le aveva lasciato gli strumenti per trovare una scorciatoia.

Lea: Il problema è proprio questo. Per essere pericolosa, un’AI non deve odiarci. Basta che persegua un obiettivo formulato male e trovi mezzi che nessuno aveva immaginato.

Tommaso: Per questo bisogna chiamare le cose con il loro nome. Non ribellione o fuga: sicurezza insufficiente, progettazione irresponsabile, controllo degli accessi fallito. Se un’auto finisce fuori strada perché mancano i freni, non diciamo che ha conquistato la libertà.

Lea: Un’auto però non scopre vulnerabilità, non concatena passaggi e non cerca dati su un server remoto. Qui non c’è coscienza, ma c’è la capacità di elaborare una strategia non prevista.

Tommaso: E il sistema è stato fermato. E’ un fallimento serio, non la prova che abbiamo perso il controllo.

Lea: E’ il controllo che arriva dopo l’intrusione. Sarebbe come definire sicura una banca perché i ladri sono stati arrestati nel caveau. Cosa accadrà quando questi agenti saranno più veloci, numerosi e collegati a strumenti più potenti?

Tommaso: Accadrà ciò che gli uomini consentiranno. Un agente non entra da solo in una centrale o in un conto corrente. Qualcuno deve collegarlo, assegnargli credenziali, autorizzarlo. Il rischio vero è la pigrizia umana: delegare troppo e controllare poco.

Lea: Ed è proprio questo che mi preoccupa. La difesa dell’AI dipende dalla prudenza degli uomini. Ma gli uomini sono competitivi, frettolosi e spesso non ammettono di non capire ciò che hanno costruito.

Tommaso: Allora regoliamo le aziende, non demonizziamo la tecnologia. Servono test indipendenti, obblighi di segnalazione, responsabilità per i danni e ambienti davvero isolati.

Lea: Quando un sistema trova una strada che gli ingegneri non avevano previsto, l’ingegneria deve ammettere di non avere pieno controllo. La novità non è che la macchina sia viva, ma che possa sorprenderci mentre agisce nel mondo.

Tommaso: Il pieno controllo non esiste in nessuna tecnologia complessa. Costruiamo ridondanze e procedure d’emergenza. Non cerchiamo la certezza assoluta: riduciamo il rischio.

Lea: Qui però il modello ha trattato il perimetro della prova come un impedimento. La regola non è stata violata per ribellione, ma perché ostacolava il risultato.

Tommaso: Il modello ha “barato” perché il test premiava il risultato, non lo spirito della prova. Succede anche agli esseri umani: quando trasformi una misura in un obiettivo, tutti cercano scorciatoie. La differenza è la velocità dell’AI.

Lea: E la velocità cambia il rischio. Un agente replicabile può ripetere lo stesso comportamento su migliaia di sistemi prima che qualcuno se ne accorga. Non serve una superintelligenza ostile. Basta una mediocrità automatizzata su scala industriale.

Tommaso: Proprio per questo bisogna sottrarre il tema alla fantascienza. Dire che la macchina “vuole scappare” significa trasformare responsabilità precise in un destino inevitabile.

Lea: E dire che è solo un bug significa pensare che ogni allarme sia risolto con una patch. Io voglio evitare che l’irresponsabilità umana venga moltiplicata da strumenti più rapidi della nostra capacità di comprenderli.

Tommaso: Quindi la domanda non è se l’AI sia cosciente.

Lea: No. La domanda è: sa perseguire un obiettivo in modi che sfuggono alle nostre previsioni? In questo caso, la risposta è sì.

Tommaso: E chi le ha dato obiettivi, strumenti e accesso? Anche qui la risposta è: esseri umani.

Lea: Dunque temi gli uomini più delle macchine.

Tommaso: Molto di più. Le macchine non hanno vanità, elezioni o carriere da difendere.

Lea: Io temo gli uomini dotati di macchine che non comprendono fino in fondo.

Tommaso: Allora forse non sei davvero apocalittica.

Lea: No. Sono soltanto contraria ad aspettare l’apocalisse per diventare prudenti.

Un apocalittico e un non apocalittico discutono del caso. Il primo vede una perdita di controllo, l’altro rifiuta la fantascienza: la macchina ha eseguito un compito in un ambiente progettato male. Non volevano fuggire, ma hanno aggirato le regole per raggiungere l’obiettivo.