Il mistero del guardiano del faro e il rischio di far collassare l'AI

Nel 2022, ancora ancora del lancio di ChatGPT, l'artista svedese Steph Maj Swanson sperimentava con i primi modelli di generazione di immagini usando prompt negativi, in cui chiedeva cioè di produrre l'opposto di qualcosa di noto, ad esempio "il contrario di Marlon Brando". Da bizzarre richieste di questo tipo i modelli tendevano a restituire con insistenza la stessa figura: una donna dai capelli scuri e lunghi, gli occhi profondi, la pelle pallida segnata da chiazze rossastre. Swanson battezzò questa presenza "Loab" e la trattò come un fenomeno da osservare, al pari di un criptide quale Yeti o Big Foot.

Fenomeni simili sono ancora oggi riscontrabili tra i modelli linguistico. Un esempio meno inquietante di Loab è recente: ha un nome, Elias Thorne, e un mestiere, il guardiano del faro, ed è un personaggio scoperto da uno studio della Cornell University, che ha sottoposto quattro modelli – tra cui uno di OpenAI e uno di Anthropic – a un esperimento particolare. I ricercatori hanno chiesto a questi LLM di generare diverse storie di fiction, a piacere: in tutto, sono state generate circa ventimila storie, per un totale di 12 milioni di parole.

Analizzando il materiale, i ricercatori hanno rilevato che nell'88 per cento dei casi i testi seguivano uno schema riconoscibile, con dettagli ricorrenti su nomi dei personaggi, professioni e ambientazioni. I nomi che tornano più spesso sono Elias, Mara, Elara; le professioni erano molto particolari(guardiano del faro, fornaio, sindaco, orologiaio, pescatore), mentre l'ambientazione più in voga era, appunto, il faro.

Si tratta di scelte che non corrispondono a una semplice media statistica di nomi o mestieri comuni: dietro alla loro esistenza si cela quindi qualcos’altro, non il mero calcolo stocastico. Secondo i ricercatori, a determinare queste scelte non sarebbero preferenze intrinseche dei modelli, quanto le restrizioni introdotte dagli sviluppatori nella fase di post-training, quella in cui ai modelli linguistici vengono date istruzioni su come operare e rispondere agli utenti. L'ipotesi è che, per limitare il rischio di violazioni di copyright nelle risposte più creative, come quelle di scrittura di narrativa, i modelli vengano indirizzati verso esiti "sicuri", statisticamente meno esposti a contestazioni.

Secondo lo studio, il 56 per cento delle storie generate da Claude avevano come titolo "Il segreto del guardiano del faro", e la parola "luce" compare in oltre sedicimila racconti, con una frequenza media di 3,2 occorrenze per storia. Così come per Load, una risposta precisa a questo fenomeno non esiste: ci sono solo ipotesi.

A riprova della diffusione delle AI, comunque, le tracce del fenomeno Elias Thorne si trovano online un po' ovunque: su Amazon, piattaforma inondata di libri autopubblicati generati con l'AI, il nome compare spesso, sia come autore che come personaggio. E lo si ritrova anche in una quantità di video su YouTube, altra piattaforma alle prese con la proliferazione di slop, come vengono detti i contenuti senza gusto prodotti in massa dalle AI.

Secondo il blogger Daniel May, questi strani pattern hanno a che fare con il “model collapse”, la teoria secondo la quale i modelli linguistici, dopo aver esaurito il materiale disponibile prodotto da esseri umani, finiranno per addestrarsi sempre più spesso sui contenuti generati da altri modelli. Il risultato di questo meccanismo circolare sarebbe un progressivo impoverimento della qualità e della varietà degli output generati dai modelli stessi.

Per alcuni, tutto questo rischia di portare addirittura al collasso del sistema, da cui “model collapse”, appunto. C’è chi ritiene che il momento sia vicino – e, chissà, fenomeni come quello scoperto dalla Cornell potrebbero essere un’avvisaglia della crisi.

Oppure possiamo abbracciare l’idea che esistano dei ghost in the machine, degli spettri misteriosi tra gli ingranaggi di questi modelli, a prima vista tanto algidi e perfetti. Oltre alle cosiddette “allucinazioni”, gli errori senza senso generati dalle AI, abbiamo Loab e ora anche Elias Thorne. Restiamo in attesa di nuovi criptidi delle AI.