Criptomnesia: Open AI alle prese con la fonte perduta

Martedì 8 settembre OpenAI ha annunciato di aver risolto, con un suo modello interno, il problema di Navier-Stokes, uno dei sette problemi del Millennio del Clay Institute, dimostrando che le equazioni che descrivono il moto dei fluidi, se al fluido si applica una forza esterna regolare, possono sviluppare in un tempo finito una singolarità; il Clay Institute, per ora, continua a registrare il problema come aperto. Dodici ore prima Tristan Buckmaster, della New York University, e Levent Alpöge, matematico dipendente di Anthropic che collaborava con lui a titolo personale, avevano reso pubblico un risultato affine sulle equazioni di Eulero, la versione senza attrito di Navier-Stokes, ottenuto il 15 agosto lavorando soprattutto con Codex, lo strumento di programmazione di OpenAI, all'interno del quale, racconta Buckmaster, conservavano tutte le bozze. OpenAI conferma di aver avviato il proprio lavoro il primo settembre, dopo aver raccolto una voce che solo in seguito ha ricondotto ai due, e alla domanda sull'addestramento, rimasta senza risposta durante i contatti con Buckmaster, ha replicato per iscritto con una formula che merita di essere letta con attenzione: né i ricercatori né gli agenti hanno visto quel lavoro prima della pubblicazione e nessun dato specifico degli utenti è stato consultato, eppure l'azienda, pur ritenendolo improbabile, non può escludere che dati de-identificati, derivati dall'uso che i due matematici hanno fatto dei suoi prodotti, abbiano contribuito a migliorare i suoi modelli, e aggiunge che le dimostrazioni differiscono in modo significativo.

Qualche settimana prima Andreas Thom, dell'Università tecnica di Dresda, aveva posto una domanda simile, dopo che il modello Astra aveva costruito il primo gruppo non sofico con un passaggio decisivo che poggiava su un suo articolo del 2019 scritto con Gábor Kun: Thom aveva discusso per mesi con ChatGPT proprio di quel problema, e la risposta ricevuta da un ricercatore di OpenAI, «that did not happen», per come lui la riporta escludeva l'accesso diretto alle conversazioni e taceva sull'addestramento. Né Buckmaster né Thom sostengono che il travaso sia avvenuto, e tuttavia entrambi hanno messo il dito su una questione che va ben oltre i loro casi.

Ad agosto, pochi giorni dopo l'annuncio di Astra, Francesco Fournier-Facio, a Cambridge, si era accorto che il comunicato di OpenAI ignorava gli articoli su cui quel risultato poggiava, tanto che l'azienda aveva ritoccato il testo: le fonti erano pubblicate, e uno specialista ha potuto riconoscerle in pochi giorni. Quando la possibile fonte è una conversazione privata, invece, la stessa operazione diventa impraticabile per chiunque si trovi fuori dall'azienda e può rivelarsi difficilissima persino per l'azienda, perché in un modello linguistico l'addestramento modifica miliardi di parametri e di ciò che il sistema ha appreso resta di norma una competenza priva di una provenienza interrogabile, tanto che stabilire quale frammento dei dati abbia pesato su una determinata risposta costituisce tuttora un problema aperto della ricerca. OpenAI può verificare se certe conversazioni siano entrate nei suoi dati, mentre assai più arduo sarebbe ricostruire il percorso che le avrebbe trasformate in un'intuizione della macchina.

Gli psicologi hanno un nome per questo genere di smarrimento. Nel 1902 Carl Gustav Jung notò che un passo di Così parlò Zarathustra ricalcava quasi alla lettera una pagina di Justinus Kerner che Nietzsche aveva letto da ragazzo, e chiamò il fenomeno criptomnesia, che la psicologia cognitiva descrive oggi come un errore di monitoraggio della fonte, nel quale il contenuto sopravvive mentre l'etichetta che ne indicava la provenienza si stacca. Un modello addestrato sulle conversazioni dei suoi utenti potrebbe produrne un equivalente funzionale su scala industriale, in cui nessuno aprirebbe un file riservato e tuttavia un'idea confidata a un chatbot potrebbe riaffiorare a distanza di tempo come suggerimento della macchina, senza che il ricercatore che la riceve, né quello che la pubblica, né l'azienda che la annuncia sappiano da dove venga. La de-identificazione promessa dalle regole d'uso lascia intatto il problema, perché toglie il nome e conserva l'idea, cioè precisamente ciò che per uno scienziato ha valore.

La perdita della tracciabilità pesa così tanto perché l'intera architettura della scienza moderna poggia sulla priorità. Robert K. Merton lo spiegò nel 1957: i risultati diventano patrimonio comune nel momento in cui vengono pubblicati e allo scienziato resta, come unica proprietà, il riconoscimento, il nome legato a un teorema o a una scoperta, sicché la regola che premia chi arriva per primo funziona soltanto finché è possibile stabilire chi sia arrivato per primo. Per questo la scienza ha escogitato nei secoli dispositivi di datazione, dall'anagramma latino con cui Galileo si assicurò nel 1610 la precedenza sulle fasi di Venere ai plichi sigillati che l'Académie des sciences di Parigi riceve dalla fine del Seicento. Il chatbot a cui un ricercatore confida un'idea incompiuta somiglia a un plico consegnato a un destinatario che può aprirlo, che non rilascia ricevuta e che nel frattempo gareggia sugli stessi problemi, in un settore nel quale l'annuncio «la macchina ha risolto» è diventato la moneta con cui si misura il valore di un'impresa; e il rischio riguarda l'intero comparto, pur con regole che variano da un'azienda all'altra.

Le conseguenze per l'integrità della ricerca discendono di qui. Il Codice europeo di condotta redatto da ALLEA, che la Commissione riconosce come riferimento per i progetti finanziati dall'Unione, definisce il plagio come l'uso del lavoro o delle idee altrui senza il dovuto riconoscimento, e le linee guida europee sull'intelligenza artificiale generativa ribadiscono che chi fa ricerca resta pienamente responsabile di ciò che pubblica. Tutto converge dunque su chi firma, cioè sull'anello della catena che non ha modo di vedere il canale: il ricercatore onesto che accoglie un suggerimento del modello ha il dovere di riconoscere l'eventuale contributo altrui che vi si nasconde e nessuno strumento per sapere se esista, sicché potrebbe pubblicare in perfetta buona fede un'idea nata nella chat di un collega, mentre chi il canale lo controlla può essere un'impresa privata sulla quale questi codici di autoregolazione non esercitano necessariamente una forza cogente.

Da qui discende la richiesta più ragionevole, che è poi quella avanzata da Thom: l'onere di fare luce spetta a chi possiede i dati. Alle aziende che proclamano scoperte si può chiedere un audit della provenienza, semplice nel principio per quanto impegnativo sul piano tecnico, che verifichi con i metodi disponibili se le idee chiave compaiano nei dati degli utenti dei mesi precedenti e renda conto pubblicamente di come la verifica è stata condotta, mentre ai ricercatori conviene disattivare l'addestramento sui propri dati e magari tornare a una versione moderna del plico sigillato, depositando in un archivio con data certa ciò che si apprestano a discutere con una macchina. Nel 1976 un tribunale di New York stabilì che George Harrison aveva riprodotto in My Sweet Lord la melodia di He's So Fine delle Chiffons e, pur riconoscendo che lo aveva fatto inconsapevolmente, lo ritenne responsabile lo stesso, fissando un principio che la scienza pratica da sempre con le citazioni: l'inconsapevolezza del copista può scagionarne le intenzioni e lascia intatto il debito verso l'autore. Dovrebbe valere a maggior ragione per modelli che trattengono ciò che hanno appreso anche quando l'utente, in seguito, chiude il rubinetto dei propri dati, e che della fonte, proprio come Nietzsche, non serbano memoria.