Come l'università (americana) si prepara all'irruzione di ChatGPT

Tutti hanno sentito parlare di ChatGPT, il nuovo programma di intelligenza artificiale. Si dice che possa scrivere testi altrettanto bene se non meglio degli umani. Gli ottimisti dicono che aprirà  una nuova era di collaborazione fra uomini e computer che libererà gli uomini dai compiti intellettuali più noiosi e ripetitivi. I pessimisti temono che che renderà gli umani obsoleti e creerà disoccupazione di massa. Io non ho idee chiare sull’evoluzione della tecnologia nel medio-lungo periodo e credo sia impossibile averne. Mi limito a qualche riflessione sulla situazione attuale, sulla base della mia esperienza di professore di Storia economica alla New York University Abu Dhabi. 

L’impatto di ChatGPT è stato immediato e forte. Il programma è disponibile da pochi mesi ma abbiamo già discusso l’argomento in due riunioni plenarie dei professori ed è stato creato un gruppo di lavoro per tutto il sistema New York University per formulare linee guida per i docenti. Il motivo di tale interesse è semplice: ChatGPT mette in discussione il sistema di valutazione nelle università americane. Gli esami orali sono praticamente sconosciuti, gli esami scritti sono usati nelle discipline scientifiche ma nelle discipline umanistiche e in alcune scienze sociali la valutazione si basa prevalentemente su saggi e riassunti scritti a casa. Ovviamente si teme che gli studenti usino ChatGPT.

È una prospettiva credibile? Ho chiesto a ChatGPT (nella versione free) di riassumere alcuni articoli scientifici e un libro, il compito più semplice. Sfruttando l’interattività, ho anche chiesto ulteriori approfondimenti. I risultati sono notevoli anche se molto meno impressionanti di quanto si legge. Non escludo che i risultati della versione a pagamento (20 dollari al mese) siano migliori. ChatGPT scrive in inglese corretto, anche se non particolarmente sofisticato o brillante. Questo potrebbe essere utile per smascherare studenti con scarsa familiarità con la lingua. I riassunti sono  generici e poco approfonditi. Sarebbero forse sufficienti per passare l’esame ma non per prendere un buon voto. Inoltre, ChatGPT  ha ancora due debolezze. Primo, in alcuni casi sbaglia. Ho scelto un articolo difficile da riassumere, che espone molti dati un po’ confusamente e trae una conclusione in forma dubitativa solo alla fine. ChatGPT non ci ha capito nulla. Secondo, ChatGPT non sembra in grado di citare correttamente. Ho chiesto di citare i passi più rilevanti in un articolo, e il programma ha inserito citazioni ma senza mettere le pagine.  In sostanza, per ora un professore accorto ha ancora significative possibilità di individuare frodi – ma può essere una lotta impari. ChatGPT aggiornerà ed espanderà la sua base dati e introdurrà nuove funzioni.

La soluzione semplice sarebbe usare un software antiplagio. Da anni si usano programmi come Turnitin che confrontano il compito con tutti i testi disponibili in rete. Riconoscere un testo scritto con ChatGPT è molto più difficile che scovare un plagio. Infatti l’algoritmo produce ogni volta un testo diverso in risposta alla stessa domanda e quindi anche il software deve usare un algoritmo probabilistico. In effetti l’attendibilità dei programmi per riconoscere testi scritti con ChatGPT (ad es. ZeroGPT) è messa in dubbio sui siti specializzati. Ho testato ZeroGPT sui sei riassunti scritti da ChatGPT: ha classificato correttamente tre di loro come sicuramente scritti da ChatGPT, due con alta probabilità, ma ha assegnato una probabilità bassa all’ultimo.  

Ho anche fatto la prova inversa con sei brani di miei lavori. Il software ha classificato quattro brani, i più tecnici e pieni di dati, come sicuramente “umani”, uno all’80 per cento “umano” e uno, il più generico, al 63 per cento. Quindi ZeroGPT funziona, ma non abbastanza: la percentuale di errori deve essere molto più vicina allo zero per un compito così delicato come valutare i lavori degli studenti.  

È possibile che i programmi di riconoscimento diventino affidabili nel tempo, ma anche che ChatGPT diventi più sofisticato. In mancanza di una soluzione tecnologica, ci si interroga su cosa fare per gli esami. Ci è stato suggerito di modificare i programmi per indicare se e in quali limiti è accettabile l’uso di ChatGPT da parte degli studenti. Alcuni intervenuti al dibattito hanno proposto di ridurre la percentuale dei compiti a casa sul voto finale o addirittura di abolirli e valutare solo con esami in presenza. Altri hanno aggiunto che sarebbe opportuno proibire i computer negli esami in presenza finali e ritornare a carta e penna, ma l’idea di dover leggere testi manoscritti non ha entusiasmato. Un paio di professori ha addirittura ipotizzato, nella disperazione, di fare esami orali.

Un dibattito focalizzato sui rischi per la valutazione può sembrare riduttivo e miope. I professori devono imparare a usare di persona l’Intelligenza artificiale per migliorare la didattica e per fare ricerca, e poi insegnare agli studenti il corretto uso. Ottimo proposito. Il problema che non si è ancora capito come tradurlo in pratica e credo sarà necessario un significativo miglioramento delle prestazioni di ChatGPT. Per ora, mi sembra banalizzi troppo per essere veramente utile. Per fare un’analogia con un tema di attualità, la riforma fiscale può essere proclamata in un comizio (faremo la flat tax) o formulata a grandi linee in una legge delega (la flat tax è l’obiettivo di legislatura) ma alla fine ci vogliono i decreti attuativi specifici. ChatGPT produce testi a metà fra comizio e legge delega. Dovrebbe arrivare a scrivere una bozza di decreti attuativi.