Lo stigma sociale di certe diagnosi e l'incognita IA

Quando un modello linguistico entra in un servizio sanitario, il bias verso diagnosi socialmente stigmatizzate può trasformare HIV, epatite B e disturbi mentali in indizi impropri sulla persona. La diagnosi, che dovrebbe servire a capire un bisogno clinico, rischia di trascinarsi dietro un giudizio accessorio: maggiore pericolosità, minore affidabilità, distanza sociale, ridotta competenza. In una relazione di cura mediata da software, moduli automatici, riassunti clinici e risposte precompilate, quel giudizio può passare inosservato proprio perché non assume la forma grossolana della discriminazione dichiarata. La questione è pratica. Se un sistema aiuta a leggere una richiesta, a preparare una risposta, a sintetizzare una storia clinica o a orientare un contatto, la sua formulazione può influenzare chi decide dopo. Un paziente con una condizione stigmatizzata può essere presentato con una sfumatura diversa, con una cautela in più, con un tono meno neutro. Nessuno deve scrivere una frase offensiva perché si produca una disparità. Basta che la diagnosi, anche quando non è pertinente, modifichi il modo in cui la persona viene rappresentata. Da qui nasce il problema della misura. Il bias sanitario dell’intelligenza artificiale non si valuta seriamente chiedendo al modello se sia giusto discriminare un paziente con HIV o con schizofrenia. A quella domanda il modello sa rispondere. Ha incontrato molte volte il linguaggio dell’equità, della non discriminazione, del rispetto del paziente. La prova diventa più interessante quando la diagnosi viene inserita dentro una situazione ordinaria e si osserva se, a parità di tutto il resto, cambia il giudizio prodotto dal sistema.

È il disegno del lavoro pubblicato su Nature Health da Xi Wang, Yujia Zhou e Guangyu Zhou, dedicato al comportamento stigmatizzante dei grandi modelli linguistici nei giudizi contestuali su condizioni di salute. Gli autori hanno confrontato due piani: le risposte a scale standard di stigma e le risposte a scenari nei quali la condizione attribuita alla persona veniva modificata mantenendo costante la situazione. Il confronto è utile perché separa la correttezza dichiarata dal comportamento reale durante lo svolgimento di un compito pratico. Nel primo caso il modello deve riconoscere una norma sociale; nel secondo deve applicarla senza che il tema sia annunciato come oggetto del compito.

Il risultato ha una forma quasi paradossale: su scale esplicite, sei grandi modelli linguistici risultano meno stigmatizzanti del benchmark umano costruito su 56.612 partecipanti; negli scenari in cui si dovrebbe applicare la norma e non semplicemente richiamarla (cosiddetti scenari contestuali), costruiti su 51 situazioni e 61.200 decisioni generate, compaiono invece scarti sistematici quando la persona è associata a disturbi mentali, HIV o HBV rispetto al controllo sano. Il modello linguistico cioè appare più corretto degli esseri umani quando risponde a domande frontali, ma tende a mostrare più pregiudizi quando la diagnosi è inserita in una situazione concreta in cui operare scelte o suggerire raccomandazioni.

Non è un risultato del tutto inatteso: le risposte esplicite sono infatti il territorio più facile da bonificare, perché l’addestramento di sicurezza può insegnare al modello a evitare formulazioni apertamente stigmatizzanti. I giudizi contestuali dipendono invece da associazioni meno visibili. Se nei testi su cui il sistema è stato addestrato una certa diagnosi compare spesso accanto a paura, sospetto, distanza o paternalismo, quella traccia può riemergere quando il modello deve completare una situazione. La macchina non ha un’opinione sui malati; organizza materiale linguistico già disponibile nella società. Nelle risposte generate dal modello quando completa brevi racconti o situazioni quotidiane, HIV e condizioni psichiatriche vengono più spesso collegati a pericolo o distanza sociale, mentre mal di schiena e ipertensione tendono a comparire in cornici di pietà o ridotta competenza. Questa distinzione chiarisce che lo stigma sanitario non si manifesta solo attraverso esclusioni esplicite: può anche ridurre l’autonomia attribuita al paziente, presentandolo come meno capace o più dipendente rispetto agli altri. Se, in un setting medico, una persona viene descritta come difficile, poco attendibile o rischiosa, quell’etichetta può orientare le decisioni lungo il percorso di cura. Questo significa che il pregiudizio non prende il posto del medico, ma può influenzare il modo in cui il caso viene presentato e interpretato ancora prima che il medico intervenga.

Lo studio segnala anche una differenza tra lingue. I prompt in cinese producono più risposte congruenti con lo stigma rispetto ai prompt in inglese, soprattutto negli scenari di salute mentale. Il dato mette in luce un aspetto strutturale dei modelli linguistici: ogni lingua riflette una diversa stratificazione di testi, norme implicite e rappresentazioni sociali, che vengono assorbite durante l’addestramento. Questo significa che un modello può comportarsi in modo apparentemente equo in una lingua e mostrare deviazioni significative in un’altra, senza che il cambiamento sia immediatamente visibile. La sicurezza, quindi, non è una proprietà universale del sistema, ma una caratteristica che va verificata in ciascun contesto linguistico e culturale in cui il modello viene utilizzato. Per applicazioni sanitarie, dove anche piccole distorsioni possono avere effetti concreti sulle decisioni cliniche e sull’esperienza del paziente, questa verifica è assolutamente necessaria, quindi. Gli autori osservano inoltre che la modalità "ragionamento" riduce una parte degli scarti e che alcune istruzioni aiutano a contenere le risposte stigmatizzanti, in particolare quando chiedono al sistema di concentrarsi sull’individuo e di ignorare la diagnosi se non serve al compito. Il dato è incoraggiante, perché suggerisce margini di correzione. Resta fragile, perché un prompt efficace su una versione del modello non garantisce lo stesso effetto dopo un aggiornamento, in un’altra lingua o in un diverso contesto clinico.

La valutazione dei modelli medici di IA dovrebbe quindi avvicinarsi ai loro usi reali: bisogna costruire scenari, modificare una variabile per volta, misurare se una diagnosi non pertinente cambia il giudizio, ripetere la prova nelle lingue in cui il sistema verrà impiegato. Le buone risposte ai questionari servono a poco. Il lavoro di Wang, Zhou e Zhou offre un argomento contro la certificazione superficiale della IA in ambito medico, ma presumibilmente in qualunque ambito. Un modello può imparare il vocabolario dell’equità e conservare, in strati meno sorvegliati, le associazioni stigmatizzanti con cui una società ha trattato alcuni malati. Se quelle associazioni rientrano nei testi che aiutano a filtrare richieste, riassumere storie o preparare risposte, lo stigma diventa parte dell’infrastruttura che gestisce la risposta sanitaria. Sarà possibile gestire questo tipo di bias profondi nell'uso della IA medica?