L’Intelligenza Artificiale generativa rischia di diventare progressivamente meno creativa, meno precisa e persino incapace di produrre risposte coerenti. Il problema nasce da un fenomeno sempre più rilevante con la diffusione dei sistemi di IA: i modelli vengono addestrati utilizzando contenuti che, a loro volta, sono stati generati da altre Intelligenze Artificiali. Un circolo vizioso che può compromettere la qualità delle informazioni prodotte e provocare una degenerazione conosciuta come model collapse, ovvero collasso del modello. Una possibile soluzione arriva da uno studio internazionale che coinvolge importanti istituzioni scientifiche italiane e che individua in un elemento apparentemente semplice, la sorpresa, una strategia per rendere i sistemi di IA generativa più solidi e preservarne la diversità linguistica e la capacità creativa. La ricerca è stata condotta dall’Istituto di scienza e tecnologie dell’informazione del Consiglio Nazionale delle Ricerche di Pisa (CNR-ISTI), dall’Università di Pisa, dalla Scuola Normale Superiore e dalla Victoria University di Wellington, in Nuova Zelanda. I risultati sono stati pubblicati sulla rivista scientifica ACM Transactions on Intelligent Systems and Technology.
Intelligenza Artificiale, cos’è il model collapse e perché i modelli rischiano di peggiorare
Il fenomeno al centro dello studio prende il nome di autofagia dell’Intelligenza Artificiale. Si verifica quando i modelli generativi vengono addestrati su testi e altri contenuti prodotti dagli stessi sistemi di IA, alimentando un processo nel quale le informazioni artificialmente generate diventano la base per successive fasi di apprendimento. La diffusione capillare delle tecnologie generative rende questo scenario sempre più concreto. La crescente presenza di contenuti prodotti automaticamente può infatti favorire la loro inclusione nei dati destinati all’addestramento di nuovi modelli, determinando un progressivo impoverimento delle informazioni utilizzate. Il risultato è il cosiddetto collasso del modello, una degenerazione che può manifestarsi attraverso una riduzione della varietà delle parole impiegate, una minore coerenza delle frasi e un deterioramento della qualità complessiva delle risposte. Il problema non riguarda quindi soltanto la ripetitività dei contenuti, ma investe anche la capacità dell’IA generativa di costruire testi significativi e linguisticamente diversificati.
Lo studio su quattro modelli di IA generativa: cosa hanno scoperto i ricercatori
Per comprendere le caratteristiche del fenomeno, il gruppo di ricerca ha analizzato quattro modelli di Intelligenza Artificiale generativa, tra cui Llama, sviluppato da Meta, osservando come il collasso possa assumere forme differenti. A illustrare i risultati è Daniele Gambetta, ricercatore post-doc presso l’Università di Pisa: “analizzando quattro modelli di IA generativa – come Llama, sviluppato da Meta – abbiamo osservato che il collasso può manifestarsi in modi diversi. Da un lato, il contenuto generato diventa sempre meno vario e presenta sempre le stesse parole; dall’altro, le frasi generate sono meno coerenti e significative e le risposte meno sensate”. Le osservazioni evidenziano due aspetti distinti del deterioramento. Il primo interessa la diversità dei testi generati, che tendono a utilizzare un repertorio linguistico sempre più limitato. Il secondo riguarda invece la coerenza e il significato delle risposte, che possono perdere progressivamente qualità. Si tratta di manifestazioni differenti dello stesso problema, legate al modo in cui i sistemi generativi apprendono dalle informazioni utilizzate durante l’addestramento.
La soluzione contro il collasso dell’IA: selezionare i testi in base alla sorpresa
La parte più innovativa della ricerca riguarda la strategia proposta per contrastare il model collapse. Anziché concentrare l’attenzione esclusivamente sulla distinzione tra contenuti umani e contenuti artificiali, gli studiosi suggeriscono di valutare quanto un documento risulti sorprendente per il modello che deve apprenderlo. La distinzione tra testi scritti da esseri umani e testi prodotti dall’Intelligenza Artificiale rappresenta infatti una difficoltà crescente, proprio a causa del progressivo miglioramento delle capacità linguistiche dei sistemi generativi. A spiegare il nuovo approccio è Luca Pappalardo, ricercatore del CNR-ISTI e co-direttore dello studio: “la soluzione comune è distinguere i testi umani da quelli prodotti dall’IA, selezionando solo quelli umani per l’addestramento. Tuttavia, è sempre più difficile fare questa distinzione man mano che i modelli diventano più sofisticati. Il nostro metodo propone invece di misurare la perplexity, cioè il livello di sorpresa nei documenti secondo il modello. Un documento è sorprendente per il modello se il modello stesso l’avrebbe scritto in modo diverso”. Il concetto scientifico utilizzato dai ricercatori è quello di perplexity, una misura che permette di valutare il livello di sorpresa associato a un documento dal punto di vista del modello. In questa prospettiva, un testo assume particolare interesse per l’addestramento quando presenta caratteristiche che il sistema non avrebbe riprodotto spontaneamente nello stesso modo. La selezione dei documenti non dipende quindi necessariamente dalla loro origine umana o artificiale, ma dal loro contenuto informativo rispetto alle aspettative del modello.
Gli esperimenti dimostrano che i documenti sorprendenti mitigano il collasso
I risultati sperimentali costituiscono l’elemento centrale della ricerca. Gli studiosi hanno osservato che i documenti meno sorprendenti contribuiscono maggiormente alla degenerazione dei modelli quando vengono impiegati durante l’addestramento. Al contrario, privilegiare i testi capaci di sorprendere il sistema consente di contrastare il fenomeno, offrendo una possibile strada per preservare la qualità dei contenuti prodotti dall’Intelligenza Artificiale. Come sottolinea ancora Pappalardo: “i testi meno sorprendenti contribuiscono di più al collasso se usati nell’addestramento del modello. Nei nostri esperimenti abbiamo dimostrato che selezionando per l’addestramento solo i documenti sorprendenti si mitiga il problema del collasso”. La scoperta sposta dunque l’attenzione dalla semplice provenienza dei dati alla loro capacità di introdurre elementi differenti rispetto a quelli che il modello tende già a generare. La selezione dei dati di addestramento diventa così uno strumento per limitare il progressivo impoverimento dei sistemi generativi.
Come imparano le Intelligenze Artificiali: il collegamento con l’apprendimento dei bambini
Un altro aspetto dello studio riguarda il rapporto tra la capacità di apprendere nuove informazioni e la presenza di elementi inattesi durante il processo di addestramento. Secondo il professor Dino Pedreschi, la sorpresa può svolgere una funzione importante proprio perché contrasta la tendenza dei modelli a riprodurre contenuti già assimilati. “Nell’autofagia il modello smette di apprendere nuove informazioni. Reintrodurre la sorpresa nell’addestramento richiama il modo in cui i bambini imparano dagli eventi inattesi”, spiega Pedreschi. Il riferimento all’apprendimento infantile mette in evidenza il ruolo degli eventi inattesi nell’acquisizione di nuove conoscenze. Nell’approccio proposto, i documenti sorprendenti rappresentano un elemento utile per contrastare la ripetizione delle informazioni che caratterizza l’autofagia dei sistemi artificiali. La ricerca si inserisce inoltre in un campo di studi più ampio, dedicato alle trasformazioni reciproche tra gli esseri umani e le tecnologie di Intelligenza Artificiale. “Questo lavoro si inserisce nel contesto più ampio della coevoluzione umano-IA, un ambito di ricerca che studia come i sistemi artificiali si trasformano e vengono trasformati dall’ecosistema informativo in cui operano”, prosegue il professore.
Il futuro dell’IA generativa e la coevoluzione tra esseri umani e macchine
La questione del collasso dei modelli di Intelligenza Artificiale assume un’importanza particolare in un contesto nel quale i contenuti generati automaticamente sono sempre più diffusi e diventano parte dell’ecosistema informativo nel quale operano gli stessi sistemi di IA. Uno degli aspetti più significativi della strategia elaborata dai ricercatori è la possibilità di selezionare i documenti utilizzabili per l’addestramento senza doverne necessariamente identificare l’autore. Questo principio permette di affrontare una delle difficoltà fondamentali legate all’evoluzione delle tecnologie generative: riconoscere con certezza se un testo sia stato prodotto da una persona oppure da una macchina. A evidenziare il valore di questa caratteristica è Gizem Gezici, ricercatrice presso la Scuola Normale Superiore: “questo approccio non richiede di sapere se un documento è stato scritto da un umano o da una macchina e, in un’epoca in cui distinguere i due tipi di contenuto è sempre più difficile, questa proprietà è fondamentale per la strategia”. La possibilità di utilizzare il livello di sorpresa dei documenti come criterio di selezione rappresenta quindi una prospettiva per sviluppare sistemi generativi più resistenti al deterioramento delle proprie capacità linguistiche. La diffusione dell’IA nella produzione di testi rende il problema destinato ad assumere un peso crescente. Il lavoro delle istituzioni scientifiche coinvolte propone una possibile risposta basata sul modo in cui i modelli vengono alimentati e sulle caratteristiche dei dati scelti per il loro apprendimento. Come conclude Gezici: “il nostro lavoro fornisce una possibile soluzione a un problema che diventerà sempre più impellente con la diffusione di questi modelli nella produzione testuale in vari contesti”.
Vuoi ricevere le notifiche sulle nostre notizie più importanti?