Per liberarci della scienza marcia occorre ancora più scienza

Il Dataroom di Milena Gabanelli ha appena raccontato come l'intelligenza artificiale venga impiegata per imbrogliare negli studi clinici. La materia circola da anni nei laboratori e nelle redazioni delle riviste, e da anni viene portata davanti al pubblico più largo, negli incontri che il CNR dedica all'integrità della ricerca come nelle trasmissioni televisive e radiofoniche dove il tema compare ormai con una certa regolarità. Su questi rischi sono intervenuto in prima persona in ognuna di quelle sedi, con una insistenza che a qualcuno sarà parsa eccessiva, e proprio per questo vorrei riprendere il discorso nel punto in cui la cronaca lo lascia cadere, che è poi il punto in cui la faccenda diventa interessante.

Il dato sperimentale inventato accompagna la ricerca da sempre, e fino a ieri veniva riconosciuto perché la procedura impiegata per fabbricarlo lasciava dietro di sé tracce identificabili. La più studiata riguarda il rumore, vale a dire quella variabilità involontaria che ogni misura reale porta con sé e che proviene dallo strumento, dal campione e dalla mano di chi lavora al bancone. Chi si siede a tavolino a riempire una tabella di misure mai eseguite genera un rumore troppo educato, perché la nostra idea intuitiva della variabilità coincide con quella di una dispersione ordinata attorno al valore atteso: si evitano i valori che si ripetono a poca distanza, perché sembrano sospetti, si spargono in modo uniforme le cifre decimali finali, si tengono i risultati ragionevolmente vicini alla media. Il rumore autentico ha un'indole assai meno disciplinata e accumula coincidenze improbabili, valori lontanissimi dagli altri, grappoli di risultati quasi identici che nessun falsario si azzarderebbe a trascrivere.

Il rumore rappresenta soltanto una delle impronte che il metodo di fabbricazione imprime sul risultato finale. Chi duplica un blocco di misure e lo riscala per adattarlo a un secondo esperimento lascia sequenze che ricompaiono a distanza di righe, mentre chi affida la generazione a un foglio di calcolo consegna distribuzioni che portano scritto in chiaro il tipo di generatore utilizzato. Le medie dichiarate possono risultare aritmeticamente incompatibili con il numero dei soggetti e con la scala impiegata per misurarli, e l'accordo dei punti sperimentali con il modello teorico può presentarsi talmente perfetto da diventare implausibile, come accade alle caratteristiche iniziali dei bracci di uno studio randomizzato quando si somigliano oltre quanto un sorteggio consenta di aspettarsi. Ogni scorciatoia presa durante la fabbricazione deposita insomma un artefatto statistico da qualche parte dentro i numeri, e su questa fenomenologia è stato costruito in trent'anni l'edificio della verifica successiva alla pubblicazione, che dà la caccia all'impronta lasciata dal procedimento del falsario molto più che al contenuto della falsificazione.

Un modello generativo non attraversa nessuna di quelle scorciatoie, perché campiona direttamente dalla forma che i dati veri gli hanno mostrato milioni di volte durante l'addestramento, e restituisce tabelle dotate di rumore credibile, di correlazioni interne coerenti, di valori mancanti distribuiti come capita nella vita reale di un reparto, insieme a letture di sequenziamento, spettri di massa, cartelle cliniche elettroniche popolate di pazienti che non sono mai nati. Il falso nasce ormai privo delle impronte che cercavamo e dotato delle imperfezioni giuste, e le fondamenta su cui poggiavano i nostri strumenti di accertamento si sgretolano proprio mentre il costo della fabbricazione crolla a poche decine di euro per articolo. La falsificazione delle immagini scientifiche mediante IA generativa, che con Angelo Parini ho documentato l'anno scorso sull'American Journal of Hematology, offre soltanto l'esempio più vistoso di una dinamica che investe l'intera catena della prova sperimentale, dal numero grezzo uscito dallo strumento alla tabella riassuntiva che finisce sotto gli occhi del revisore.

La corsa fra chi genera e chi smaschera ha peraltro un esito scritto in partenza, per la ragione strutturale che ogni rivelatore diventa materiale di addestramento per la generazione successiva di falsari. Chiedere alla comunità scientifica di inseguire il dato fraudolento significa condannarla a perdere terreno a ogni aggiornamento dei modelli, con il corollario deprimente che l'unico risultato garantito sarà un flusso costante di scandali da raccontare.

La strada che in ambito clinico si comincia a percorrere rovescia la questione e certifica il dato originale nel momento esatto in cui viene prodotto. Nella ricerca regolata questa pratica è già consuetudine: lo strumento registra con un audit trail inalterabile, il dato grezzo nasce firmato e marcato temporalmente, l'ispettore risale alla fonte e verifica la catena di custodia che porta dalla cartella del paziente alla tabella pubblicata. Portare la stessa architettura dentro il laboratorio preclinico è un problema di ingegneria ordinaria, visto che gli apparecchi che lì si usano possono firmare il file all'acquisizione con la medesima naturalezza con cui oggi vi scrivono sopra data e parametri, e una rivista può pretendere insieme al manoscritto l'impronta crittografica dei dati grezzi da cui ogni tabella discende. A quel punto la fabbricazione richiede la falsificazione della catena di custodia, che è un gesto di natura completamente diversa, tracciabile e sanzionabile sul piano penale.

Tutto questo, però, resta una protesi applicata a un organismo che continua a produrre la malattia, perché la radice del male sta altrove e la conosciamo da decenni. La domanda di articoli falsi viene generata da un sistema di valutazione che misura le persone contando i prodotti, e che ha trasformato il numero delle pubblicazioni e la rivista che le ospita nella moneta con cui si comprano concorsi, promozioni e finanziamenti. La dichiarazione di San Francisco sulla valutazione della ricerca denuncia questa deriva dal 2012, le università la sottoscrivono con entusiasmo e continuano a compilare le graduatorie interne nello stesso identico modo, mentre interi sistemi nazionali hanno legato per legge la carriera accademica a soglie numeriche che nessuna commissione può ignorare. Finché il ricercatore avrà davanti a sé la scelta fra pubblicare dieci lavori mediocri e restare fermo con due lavori seri, l'industria delle paper mill disporrà di una clientela stabile e crescente, e qualunque barriera tecnica si limiterà ad alzare il prezzo del falso.

Sono due interventi che stanno in piedi soltanto insieme, perché la certificazione del dato rende la frode difficile e la riforma della valutazione la rende inutile. Nessuno dei due si presta a un titolo di prima pagina, e questa è forse la ragione per cui il dibattito pubblico li attraversa distrattamente per tornare al racconto del caso singolo, del professore smascherato, della rivista costretta a ritirare l'articolo.

L'inchiesta giornalistica svolge una funzione utile nel momento in cui restituisce il problema a chi possiede gli strumenti per affrontarlo. In questa materia le notizie circolano da un pezzo e producono a ogni passaggio la stessa ondata di sdegno, che si ritira puntualmente lasciando la spiaggia esattamente com'era, e il rischio, quando ci si ferma all'indignazione, è di consegnare a chi già diffida della medicina un argomento in più, lasciando intatta la macchina che fabbrica i dati falsi e intatti gli incentivi che la alimentano.

Cambiare quegli incentivi, e far pagare a chi devia un prezzo proporzionato al danno che ha prodotto, sono compiti che appartengono alla società nel suo complesso, perché nessun laboratorio può riscrivere le regole dei concorsi e nessuna rivista dispone del potere di comminare una sanzione. Ognuna di quelle decisioni si regge però su una prova tecnica capace di stare in piedi davanti a un ricorso o a un magistrato, e quella prova la costruisce soltanto la scienza vera, con l'analisi forense dei numeri e con la catena di custodia che lega il dato grezzo alla tabella pubblicata. La conclusione appare paradossale soltanto a chi osserva la faccenda da lontano: per liberarci della scienza marcia occorre più scienza, in quantità e in qualità assai superiori a quelle che oggi dedichiamo al problema.