I Ricercatori dell’Universita’ di San Francisco e dell’Universita’ di Berkeley hanno sviluppato un’interfaccia cervello-computer (BCI) che ha permesso a una donna con grave paralisi da ictus tronco-encefalico di parlare attraverso un avatar digitale. E’ la prima volta che sia il linguaggio parlato che le espressioni facciali vengono sintetizzati dai segnali cerebrali.
Il sistema puo’ anche decodificare questi segnali in testo a quasi 80 parole al minuto, un miglioramento significativo rispetto alla tecnologia disponibile in commercio. A lavorare su questa tecnologia nota come interfaccia cervello-computer per oltre un decennio e’ stato Edward Chang, responsabile di chirurgia neurologica presso l’UCSF.
Il ricercatore spera che questo recente progresso, pubblicato oggi su Nature, conduca a un sistema approvato dalla FDA che permetta la comunicazione attraverso segnali cerebrali in un futuro prossimo. “Il nostro obiettivo e’ ripristinare un modo di comunicare completo e naturale, che e’ davvero il modo piu’ naturale per noi di parlare con gli altri”, spiega Chang, membro dell’Istituto per le Neuroscienze Weill dell’UCSF e professore del Jeanne Robertson in Psichiatria: “Questi sviluppi ci avvicinano molto a trovare una soluzione concreta per i pazienti”.
Il team di Chang aveva precedentemente dimostrato come fosse stato possibile decodificare i segnali cerebrali in testo in un uomo che aveva subito un ictus tronco-encefalico molti anni prima. Lo studio attuale dimostra qualcosa di piu’ ambizioso: decodificare i segnali cerebrali nella ricchezza del linguaggio parlato, insieme ai movimenti che animano il volto di una persona durante una conversazione.
Chang ha impiantato un rettangolo sottile di 253 elettrodi sulla superficie del cervello della donna nelle aree critiche per il linguaggio, scoperte dal suo team. Gli elettrodi hanno intercettato i segnali cerebrali che, se non fosse stato per l’ictus, sarebbero stati inviati ai muscoli della lingua, della mandibola e della laringe, cosi’ come al volto. Un cavo collegato a una presa fissata sulla sua testa ha collegato gli elettrodi a un gruppo di computer.
Per settimane, la partecipante ha lavorato con il team per addestrare gli algoritmi di intelligenza artificiale del sistema a riconoscere i suoi segnali cerebrali unici per il linguaggio. Questo ha comportato la ripetizione di diverse frasi da un vocabolario conversazionale di 1024 parole, fino a quando il computer ha riconosciuto i modelli di attivita’ cerebrale associati ai suoni. Invece di addestrare l’IA a riconoscere intere parole, i ricercatori hanno creato un sistema che decodifica le parole dai fonemi.
I fonemi sono le sottounita’ del linguaggio parlato che formano le parole pronunciate allo stesso modo in cui le lettere formano le parole scritte. Utilizzando questo approccio, il computer ha dovuto imparare solo 39 fonemi per decifrare qualsiasi parola in inglese. Questo ha migliorato sia l’accuratezza del sistema che lo ha reso tre volte piu’ veloce.
“Precisione, velocita’ e vocabolario sono cruciali”, ha detto Sean Metzger, che ha sviluppato il decodificatore di testo insieme ad Alex Silva, entrambi studenti laureati nel programma congiunto di Bioingegneria presso UC Berkeley e UCSF. “E’ cio’ che da’ all’utente il potenziale, col tempo, di comunicare quasi alla stessa velocita’ che facciamo noi e di avere conversazioni molto piu’ naturali e normali”.
Per creare la voce, il team ha ideato un algoritmo per la sintesi del linguaggio, personalizzandolo in modo che assomigliasse alla sua voce prima dell’incidente, utilizzando una registrazione in cui parlava al suo matrimonio. Il team ha animato l’avatar con l’aiuto di un software che simula e anima i movimenti muscolari del volto, sviluppato da Speech Graphics, un’azienda specializzata in animazioni facciali basate su intelligenza artificiale.
I ricercatori hanno creato processi di apprendimento automatico personalizzati che hanno permesso al software dell’azienda di interagire con i segnali inviati dal cervello della donna mentre cercava di parlare, convertendoli nei movimenti sul volto dell’avatar, facendo aprire e chiudere la mascella, sporgere e stringere le labbra e muovere su e giu’ la lingua, cosi’ come i movimenti facciali per felicita’, tristezza e sorpresa.
“Stiamo compensando le connessioni tra il cervello e il tratto vocale che sono state interrotte dall’ictus”, ha concluso Kaylo Littlejohn, un giovane scienziato che lavora con Chang e Gopala Anumanchipalli, professore presso la UC Berkeley: “Quando il soggetto ha utilizzato per la prima volta questo sistema per parlare e muovere il volto dell’avatar in sincronia, sapevo che sarebbe stato qualcosa con un impatto reale”. Un passo successivo importante per il team e’ creare una versione wireless che non richiederebbe all’utente di essere fisicamente connesso all’interfaccia cervello-computer.
