Paper2Agent trasforma una pubblicazione scientifica in "autore virtuale"

Nature annuncia che un sistema di intelligenza artificiale può trasformare “ogni articolo” in un agente attivo, una sorta di “autore corrispondente virtuale” capace di rispondere alle domande dei ricercatori, applicare i metodi descritti nel lavoro a nuovi dati e collaborare con gli agenti ricavati da altri articoli. In un'altra notizia pubblicata dalla rivista lo stesso giorno, la promessa diventa ancora più netta già nel titolo: uno strumento di intelligenza artificiale trasforma “any paper”, qualunque articolo, in un agente. È un modo di fare clickbaiting nel presentare il lavoro di Jiacheng Miao, James Zou e colleghi, pubblicato il 16 settembre su Nature con il titolo "Reimagining research papers as interactive and reliable AI agents"; di fatto, si va molto oltre ciò che gli esperimenti hanno effettivamente dimostrato.

Per capire che cosa sia stato fatto bisogna partire da un problema reale della letteratura scientifica contemporanea. Un articolo di biologia computazionale può descrivere un metodo nuovo con sufficiente precisione perché un esperto ne comprenda il principio, lasciando comunque al lettore parecchio lavoro prima che quel metodo possa essere utilizzato: bisogna trovare il programma scritto dagli autori, installare le librerie da cui dipende, capire quali dati debbano essere forniti e in quale formato, ricostruire dai tutorial l'ordine delle operazioni e infine adattare tutto al proprio caso. In altri termini, il paper comunica la conoscenza, mentre una parte sempre più importante di quella conoscenza esiste anche sotto forma di codice e procedure che devono essere rimesse in funzione.

Paper2Agent cerca di automatizzare proprio questo passaggio. Il sistema legge l'articolo e il materiale che lo accompagna, individua il deposito contenente il codice, prepara un ambiente nel quale quel codice possa funzionare, esamina i tutorial lasciati dagli autori e prova a trasformare le operazioni che vi trova in funzioni generali. Queste funzioni vengono poi offerte attraverso MCP, Model Context Protocol, uno standard che consente a un modello linguistico di utilizzare risorse e programmi esterni attraverso un'interfaccia comune: invece di chiedere al modello di scrivere ogni volta il codice necessario per eseguire un'analisi, gli si consegna, per così dire, una cassetta di strumenti già preparati, ciascuno con un nome, determinati ingressi e un risultato atteso.

La parte più interessante dell'architettura consiste nel fatto che un altro agente prova le funzioni ottenute sui medesimi esempi usati dagli autori del paper e controlla che producano i file previsti, che i risultati numerici coincidano entro una tolleranza definita e che persino le figure siano sufficientemente simili alle immagini di riferimento. Se qualcosa fallisce, il sistema tenta di correggerlo; dopo sei tentativi senza successo, quella funzione viene esclusa dall'agente finale. Il risultato è un server MCP nel quale rimangono strumenti che hanno superato questa verifica, insieme al testo dell'articolo, ai materiali supplementari e a istruzioni che descrivono alcuni workflow, cioè sequenze di operazioni scientifiche.

A questo punto entra in scena un secondo LLM, che costituisce l'interfaccia con il ricercatore. Si può formulare una domanda in linguaggio naturale e il modello decide quali strumenti utilizzare, con quali parametri e in quale successione, esegue le operazioni attraverso il server MCP e restituisce il risultato. Nel caso di AlphaGenome, un modello che predice gli effetti delle varianti del DNA sulla regolazione dei geni, Paper2Agent ha prodotto ventidue strumenti validati; l'utente può quindi chiedere che cosa potrebbe fare una determinata mutazione in un certo tipo cellulare senza dover imparare direttamente a usare il software originale.

Questa parte funziona abbastanza bene da rendere il lavoro importante indipendentemente dalla retorica che lo circonda. Gli autori hanno preso cento articoli di biologia computazionale da bioRxiv senza selezionarli in base alla qualità del codice disponibile. In 74 casi il processo è arrivato fino alla costruzione di un agente funzionante; nei restanti 26 mancavano codice eseguibile, dati o modelli necessari, oppure si incontravano dipendenze software irrisolvibili e programmi troppo legati allo specifico esempio originario. I 74 articoli utilizzabili hanno prodotto 599 possibili strumenti, 593 dei quali hanno superato la verifica automatica. È già sufficiente per correggere il primo eccesso della formula scelta da Nature: almeno nella sua componente eseguibile, Paper2Agent non trasforma affatto “ogni articolo” in un agente.

Su trecento domande ricavate dai tutorial dei 74 articoli, Paper2Agent con Claude Sonnet 4 ha fornito la risposta considerata corretta nel 91,2 per cento dei casi, mentre Claude Code, lasciato davanti all'articolo e al deposito originale del programma, si è fermato all'80,3 per cento; persino una versione successiva del modello, Sonnet 4.6, è arrivata all'86,3 per cento. In dieci lavori computazionali appartenenti ad altri campi la percentuale riportata dagli autori ha raggiunto il 98,1 per cento su 42 compiti. Per 26 articoli prevalentemente sperimentali o dedicati a nuovi dati, dai quali non era possibile ricavare veri strumenti eseguibili, Paper2Agent ha costruito invece una raccolta strutturata di testo e materiali supplementari, ottenendo l'89 per cento su cento domande di sintesi contro l'82 per cento di un modello autorizzato a consultare direttamente il paper.

La differenza ha una spiegazione abbastanza semplice. Chiedere ogni volta a un modello linguistico di leggere migliaia di righe di codice, comprendere come si installi un programma scientifico e inventare sul momento la procedura corretta lascia aperto uno spazio enorme agli errori. Paper2Agent compie gran parte di quel lavoro una volta sola, prova ciò che ha costruito e poi consegna al modello un insieme più ristretto di operazioni già funzionanti. Gli esperimenti nei quali gli autori eliminano alcune componenti del sistema confermano che proprio la fase di verifica contribuisce in misura importante alla prestazione finale. Il risultato tecnologico, dunque, esiste: si può trasformare una quota notevole del software allegato alla letteratura scientifica in funzioni interrogabili attraverso il linguaggio naturale, aumentando la probabilità che vengano eseguite come gli autori avevano previsto.

Da qui, tuttavia, gli autori e Nature compiono un salto molto più impegnativo. Gli autori parlano di articoli che diventano “entità competenti capaci di esecuzione e dialogo”, immaginano che in futuro alle consuete dichiarazioni sulla disponibilità dei dati e del codice si aggiunga una sezione “agent availability” e descrivono comunità di agenti capaci di collegare autonomamente metodi e risultati provenienti da discipline differenti. In un esperimento fanno interagire gli agenti derivati da AlphaGenome e da due lavori contenenti dati sulle cellule T, ottenendo GPR137 come candidato per spiegare l'effetto di una variante genetica associata alla psoriasi; l'agente propone dieci strategie per proseguire e un ricercatore sceglie quella che viene infine applicata ai dati. Gli autori stessi, nella versione finale, precisano che la generazione delle ipotesi e l'interpretazione dei meccanismi restano sotto controllo umano.

Questa precisazione è arrivata al termine di una peer review particolarmente istruttiva. Un revisore ha osservato che la correttezza degli strumenti viene misurata confrontandoli con lo stesso codice dal quale sono stati ricavati: se riproducono fedelmente l'implementazione pubblicata ottengono un punteggio elevato, anche se ciò non dimostra che quell'implementazione rappresenti l'unica analisi scientificamente valida, e tantomeno che sia scientificamente corretta. Gli autori hanno accolto l'obiezione e nella versione pubblicata scrivono esplicitamente che, nei problemi aperti, questi benchmark devono essere interpretati soprattutto come misure di “faithful execution”, esecuzione fedele del metodo pubblicato, e non di validità analitica generale.

La distinzione è essenziale. Se nel codice originale vi è una scelta statistica discutibile, riprodurla perfettamente non la rende migliore; se esistono due procedure scientificamente legittime e il risultato di riferimento ne utilizza una, un agente che scelga correttamente l'altra può perfino risultare “sbagliato” nel benchmark. Paper2Agent verifica con notevole efficacia che una macchina riesca a rifare ciò che il paper insegna a fare. La validità di ciò che il paper insegna rimane una questione scientifica.

Qui emerge anche un problema più profondo, che riguarda proprio la parola più forte usata dagli autori: riproducibilità.

Il codice scientifico tradizionale può contenere errori, e spesso ne contiene, però possiede una proprietà fondamentale: una volta fissati programma, dati, parametri e ambiente di esecuzione, abbiamo almeno la possibilità di specificare esattamente che cosa debba avvenire. Paper2Agent prova meritoriamente a congelare questa parte del processo, perché costruisce strumenti, li collauda e, una volta superata la verifica, li “blocca”. Nel momento in cui quegli strumenti vengono affidati a un agente linguistico, però, la catena scientifica comprende nuovamente un elemento di natura diversa.

Un grande modello linguistico non conserva una sequenza di regole del tipo “se trovi A, esegui B”. Dato ciò che ha ricevuto fino a un certo momento, calcola una distribuzione di probabilità sulle possibili continuazioni e da quella distribuzione viene prodotto il passo successivo. Per questa ragione i referee stessi hanno chiesto agli autori di ripetere più volte gli esperimenti: scrivono esplicitamente che gli LLM sono stocastici. Gli autori hanno quindi eseguito cinque volte gli stessi benchmark e hanno smesso di riportare soltanto una percentuale, introducendo media e variabilità fra le repliche. Per AlphaGenome, per esempio, il 100 per cento inizialmente enfatizzato sui compiti ricavati dai tutorial è diventato 98,7 per cento con un errore standard di 1,3 punti.

La parola “probabilistico” richiede una precisazione. Non significa che ogni risposta debba necessariamente cambiare né che sia impossibile rendere molto stabile un modello fissando la versione, le impostazioni di generazione e l'infrastruttura. Significa che la macchina alla quale stiamo affidando una parte della procedura non è una successione esplicita di scelte metodologiche scritte dagli scienziati; produce le proprie decisioni a partire da una funzione appresa, e quando la generazione ammette campionamento possono comparire traiettorie differenti anche davanti allo stesso compito. Se poi il modello viene fornito come servizio remoto, alla questione si aggiungono gli aggiornamenti del modello e dell'infrastruttura che lo esegue.

Finché l'LLM deve soltanto capire che l'utente ha chiesto lo strumento numero sette e passargli un parametro, le conseguenze sono limitate. Paper2Agent gli affida già qualcosa di più interessante. Nei compiti aperti, il modello deve formulare autonomamente un piano, combinare diversi strumenti e sintetizzarne i risultati in una conclusione biologica; nell'esempio con Scanpy, il prompt ordina all'agente di ispezionare i dati prima dell'analisi per scegliere parametri appropriati. Sono precisamente queste le decisioni che, in una normale sezione Materiali e metodi, vorremmo conoscere per capire come sia stato prodotto un risultato.

Supponiamo allora di possedere dieci strumenti perfettamente riproducibili. Il risultato finale può dipendere dalla scelta di usarne sette invece di otto, dall'ordine nel quale vengono chiamati, dal valore assegnato a una soglia o dall'interpretazione di un risultato intermedio. Se quelle scelte sono compiute dal modello linguistico, abbiamo reso riproducibili i singoli strumenti e abbiamo collocato una macchina probabilistica nel posto in cui si decide quali strumenti utilizzare.

È possibile registrare tutto. Conservando la conversazione, le chiamate effettuate, i parametri e gli output, un altro ricercatore potrebbe ripercorrere esattamente quella particolare analisi. Avremmo ottenuto la riproducibilità del percorso già compiuto, una specie di registratore di volo perfetto. Rimane una domanda diversa: presentando di nuovo lo stesso problema allo stesso agente, esso avrebbe scelto quel percorso? Se la risposta dipende dall'esito di una generazione probabilistica, il log ci permette di replicare la traiettoria prodotta una volta, mentre la regola che ha generato quella traiettoria continua a essere diversa dal protocollo esplicito al quale la scienza ci ha abituati.

La difficoltà sopravvive persino nell'ipotesi di rendere tecnicamente deterministica la generazione. Un modello che davanti allo stesso input fornisse sempre la medesima decisione risolverebbe il problema della ripetizione materiale, lasciando aperto quello della giustificazione scientifica: perché ha scelto quel parametro? Perché ha privilegiato quel test? Quale assunzione metodologica lega l'osservazione alla scelta? La risposta generata a posteriori dal modello non coincide necessariamente con la causa computazionale che ha prodotto la decisione. In un articolo scientifico, invece, quelle assunzioni fanno parte dell'oggetto che deve essere sottoposto alla critica degli altri ricercatori.

Paper2Agent contiene quindi due idee che meritano destini differenti. La prima è forte già oggi: trasformare codice, dati e tutorial dispersi intorno a un articolo in un insieme di strumenti verificati, versionati e facilmente eseguibili potrebbe migliorare davvero il riuso della letteratura computazionale, e il fatto che 26 dei cento repository esaminati non siano arrivati alla fine potrebbe diventare esso stesso un eccellente test pratico della qualità con cui pubblichiamo il software scientifico. Gli autori arrivano a suggerire proprio questa possibilità.

La seconda idea, quella del paper trasformato in “autore virtuale” e poi in membro di una società di agenti-scienziati, richiede una cautela molto maggiore. Un corresponding author non è l'interfaccia vocale del proprio repository: conosce le decisioni che precedono il codice, sa quali alternative sono state scartate e dovrebbe essere capace di assumersi la responsabilità intellettuale dell'interpretazione. L'agente di Paper2Agent conosce ciò che gli viene esposto attraverso l'articolo e i suoi artefatti e utilizza un LLM per decidere come interrogare quel materiale. La somiglianza con un autore riguarda quindi la conversazione, assai meno l'epistemologia.

Una versione scientificamente più robusta dell'idea è già visibile dentro lo stesso lavoro. L'LLM può servire per trasformare una domanda umana in un workflow, trovare il codice pertinente, predisporre l'ambiente e perfino proporre possibili strategie. Quando quel processo produce un risultato che deve entrare nella letteratura scientifica, però, il workflow potrebbe essere congelato in un oggetto indipendente dall'LLM: funzioni precise, versione del codice, dati identificati univocamente, parametri scelti, successione delle operazioni e risultati attesi. A quel punto un altro ricercatore potrebbe rieseguirlo senza chiedere a un modello di decidere nuovamente come procedere.

L'intelligenza artificiale avrebbe così un ruolo molto simile a quello di un compilatore estremamente sofisticato: tradurre un'intenzione scientifica espressa in linguaggio umano in una procedura esplicita che, prima di diventare parte del risultato pubblicato, possa essere ispezionata e fissata. Far vivere invece l'LLM dentro il protocollo ogni volta che il paper viene interrogato significa lasciare aperta la possibilità che il metodo cambi insieme alla sua esecuzione.

Per quasi quattro secoli la pubblicazione scientifica ha cercato, con successo assai imperfetto, di separare il risultato dalla persona che lo racconta abbastanza da permettere ad altri di controllare come sia stato ottenuto. Paper2Agent mostra una strada plausibile per rendere gli articoli molto più vivi del PDF che ancora oggi usiamo, facendo finalmente funzionare insieme testo, codice e dati. La promessa diventa però scientificamente interessante soltanto a condizione che l'articolo attivo conservi una proprietà che il vecchio articolo passivo cercava almeno di garantire: davanti a un risultato, dobbiamo poter ricostruire una procedura, e quella procedura non può dipendere, nel suo tratto decisivo, da quale risposta un modello probabilistico abbia scelto di generare quel giorno.