Un algoritmo di sorveglianza della sicurezza dei vaccini anti Covid-19 utilizzato dalla Food and Drug Administration (FDA) negli Stati Uniti avrebbe avuto una limitazione matematica che ne avrebbe compromesso la capacità di individuare alcuni possibili segnali di eventi avversi durante la campagna vaccinale. È quanto emerge da un’inchiesta pubblicata dal British Medical Journal (BMJ), basata su documenti interni delle agenzie federali statunitensi, email ottenute attraverso il Freedom of Information Act e interviste con funzionari sanitari ed esperti di statistica.
Secondo la ricostruzione del BMJ, il problema riguardava il sistema di data mining utilizzato per analizzare le segnalazioni presenti nel Vaccine Adverse Event Reporting System (VAERS), il database gestito congiuntamente da CDC e FDA per monitorare eventuali reazioni successive alle vaccinazioni. L’inchiesta sostiene che alcuni funzionari della FDA e del CDC fossero stati informati già nelle prime fasi della campagna vaccinale del possibile limite dell’algoritmo, ma che il sistema non venne sostituito né modificato. Le agenzie continuarono comunque a utilizzarlo nelle comunicazioni sulla sicurezza dei vaccini.
Il sistema VAERS e la ricerca dei segnali di sicurezza sui vaccini Covid
Prima della distribuzione dei vaccini contro il Covid-19, prevista negli Stati Uniti a partire dal dicembre 2020, il CDC aveva spiegato agli operatori sanitari che avrebbe monitorato attentamente eventuali problemi di sicurezza attraverso il VAERS, definito il principale strumento nazionale per individuare possibili anomalie. Il 30 ottobre 2020, Tom Shimabukuro, vicedirettore dell’Ufficio per la sicurezza delle immunizzazioni del CDC, aveva dichiarato: “è il sistema nazionale di riferimento per il monitoraggio della sicurezza dei vaccini e il sistema di allerta precoce per individuare possibili problemi di sicurezza dei vaccini”. La strategia prevedeva l’utilizzo di due diversi sistemi statistici per analizzare le segnalazioni: il primo basato sui rapporti proporzionali di segnalazione (PRR), il secondo sull’approccio bayesiano empirico fornito dalla FDA. Secondo quanto ricostruito dal BMJ, però, durante la pandemia le due tecniche non furono utilizzate contemporaneamente come inizialmente previsto.
Nel settembre 2022, l’allora direttrice del CDC Rochelle Walensky spiegò che l’agenzia aveva iniziato a utilizzare l’analisi PRR soltanto nel 2022, con l’obiettivo di “corroborare” il metodo adottato dalla FDA. Walensky dichiarò che CDC e FDA avevano scelto di affidarsi all’approccio bayesiano perché considerato “una tecnica più robusta”. Secondo l’inchiesta del BMJ, tuttavia, proprio quel metodo avrebbe perso gran parte della capacità di individuare segnali durante la fase iniziale della vaccinazione di massa.
Il problema statistico dell’algoritmo FDA: il fenomeno del “mascheramento”
Il nodo principale sarebbe nato dall’enorme quantità di segnalazioni legate ai vaccini a mRNA Pfizer e Moderna arrivate nel database VAERS nei primi mesi della campagna. Nei primi anni della vaccinazione, oltre il 90% delle circa 1,1 milioni di segnalazioni presenti nel VAERS riguardava proprio i vaccini contro il Covid-19. Questa situazione avrebbe creato un problema statistico definito “masking”, ovvero un effetto di mascheramento. In pratica, l’algoritmo confrontava la frequenza di determinati eventi associati a un vaccino con quella osservata per altri vaccini presenti nel database. Ma poiché quasi tutte le segnalazioni riguardavano i due vaccini a mRNA, eventuali rischi comuni a entrambi potevano non emergere dal confronto. Secondo il BMJ, se ad esempio sia il vaccino Pfizer sia quello Moderna avessero avuto un incremento simile di un determinato evento avverso, il sistema avrebbe potuto considerare il numero osservato come compatibile con quello atteso, senza generare un allarme automatico. La dottoressa Ana Szarfman, medico con dottorato in microbiologia e immunologia e per anni impegnata nella sicurezza dei farmaci alla FDA, avrebbe segnalato il problema ai vertici dell’agenzia già all’inizio del 2021.
L’allarme interno della FDA: “dovremmo correggere questo problema”
Secondo i documenti analizzati dal BMJ, Szarfman e lo statistico William DuMouchel avevano proposto un aggiornamento dell’algoritmo utilizzato per l’analisi dei dati. Dopo un articolo del New York Times del febbraio 2021 che evidenziava difficoltà nei sistemi di farmacovigilanza statunitensi, Szarfman avrebbe scritto direttamente a Peter Marks, direttore del Center for Biologics Evaluation and Research della FDA, il dipartimento responsabile dei vaccini. Nella mail avrebbe scritto: “sono piuttosto preoccupata. L’agenzia dovrebbe impegnarsi per risolvere questo problema”. La ricercatrice aveva inoltre proposto un confronto con DuMouchel per discutere un nuovo metodo di analisi: “fatemi sapere se volete che Bill DuMouchel e io discutiamo la nostra proposta per un monitoraggio più efficace, compresa la necessità di utilizzare un algoritmo aggiornato di DuMouchel per l’analisi dei dati delle segnalazioni spontanee”.
Durante una presentazione alla FDA, secondo il BMJ, il confronto tra algoritmi avrebbe mostrato differenze rilevanti: l’analisi PRR avrebbe evidenziato numerosi segnali, mentre il sistema bayesiano utilizzato ufficialmente dalla FDA avrebbe identificato pochissime anomalie. Una delle slide presentate riportava: “non si stanno ottenendo informazioni utili con conteggi così bassi”. Szarfman avrebbe quindi suggerito l’adozione di un algoritmo aggiornato, sviluppato da DuMouchel e pubblicato nel 2012, ritenuto più efficace nel correggere alcuni fattori di distorsione.
Miocardite, pericardite e altri eventi: il mancato segnale dell’algoritmo
Uno degli episodi più discussi riguarda la miocardite, l’infiammazione del muscolo cardiaco, e la pericardite, l’infiammazione della membrana che circonda il cuore. Nel febbraio 2021 le autorità statunitensi ricevettero segnalazioni provenienti da Israele relative a numerosi casi, soprattutto tra giovani vaccinati. Successivamente anche il Dipartimento della Difesa americano segnalò un gruppo di casi tra militari maschi. Nonostante ciò, il sistema automatico della FDA non avrebbe generato alcun segnale per miocardite, pericardite o altri disturbi come tinnito e paralisi di Bell. La direttrice del CDC Rochelle Walensky, in quel periodo, aveva dichiarato: “non abbiamo visto un segnale [per la miocardite], e abbiamo effettivamente cercato intenzionalmente il segnale nelle oltre 200 milioni di dosi che abbiamo somministrato”.
Nei mesi successivi, però, il CDC riconobbe un possibile collegamento tra i vaccini a mRNA e la miocardite, soprattutto nei giovani maschi. Secondo il BMJ, nel giugno 2021 Shimabukuro aveva mostrato pubblicamente che per la fascia d’età 12-24 anni le segnalazioni di miocardite e pericardite nel VAERS erano da 29 a 347 volte superiori rispetto ai tassi attesi sulla base dei dati epidemiologici di riferimento. Lo stesso Shimabukuro, dopo aver ricevuto il rapporto FDA che non evidenziava segnali, avrebbe scritto a un collega: “sono perplesso che la miocardite non stia dando un allarme per nessuno dei due vaccini a mRNA”.
La richiesta di fermare le analisi alternative e il confronto interno alla FDA
Secondo la ricostruzione del BMJ, nel maggio 2021 un dirigente della FDA avrebbe chiesto a Szarfman di interrompere la produzione autonoma di analisi sui dati VAERS relativi ai vaccini Covid. In una email firmata da Craig Zinderman, associato direttore per la politica medica dell’Office of Biostatistics and Epidemiology della FDA, si legge: “vi chiediamo gentilmente di sospendere la creazione e l’invio di rapporti e analisi di data mining utilizzando i dati sugli eventi avversi dei vaccini Covid-19”. Zinderman avrebbe motivato la richiesta sostenendo che modificare i parametri del sistema durante una campagna vaccinale molto seguita avrebbe potuto creare confusione e conseguenze indesiderate: “comprendiamo che l’esplorazione di nuovi approcci potrebbe migliorare la metodologia ed è di vostro interesse. Tuttavia, dal nostro punto di vista, l’approccio utilizzato durante un periodo di sorveglianza intensa e ad alta visibilità dovrebbe essere standard, prevedibile e testato”. Nella stessa comunicazione veniva citato anche il possibile impatto sulla fiducia nei vaccini. Secondo il BMJ, Szarfman avrebbe comunque continuato a sostenere la necessità di modificare il sistema, affermando che il nuovo algoritmo era: “molto, molto migliore nel rimuovere il mascheramento dei segnali”.
Le analisi successive del CDC avrebbero individuato diversi segnali
L’inchiesta evidenzia una differenza tra il metodo bayesiano utilizzato dalla FDA e le analisi PRR successivamente condotte dal CDC. Secondo il BMJ, le analisi PRR del CDC realizzate nel 2022 avrebbero identificato come segnali di sicurezza miocardite, pericardite, paralisi di Bell e tinnito in tutte le 13 settimane consecutive considerate nell’analisi tra maggio e luglio. Il sistema bayesiano della FDA, invece, non avrebbe generato gli stessi allarmi. Nel 2023, secondo documenti interni citati dal BMJ, il responsabile della farmacovigilanza vaccinale della FDA Narayan Nair avrebbe riconosciuto che l’agenzia era consapevole dei limiti del sistema già durante la fase iniziale della vaccinazione. Un funzionario FDA, David Menschik, avrebbe inoltre spiegato in alcune comunicazioni interne che l’assenza di segnali automatici non poteva essere interpretata come una prova definitiva di sicurezza, sottolineando che il sistema aveva dei “punti ciechi”.
Il dibattito sulle responsabilità e le dichiarazioni degli esperti
William DuMouchel, lo statistico coinvolto nella proposta di modifica dell’algoritmo, ha spiegato al BMJ di non aver cercato polemiche ma soltanto un miglioramento del sistema di analisi. “Non ero interessato a capire chi incolpare o qualcosa del genere. Stavo solo cercando di capire meglio quali dati fossero disponibili e cosa si potesse fare con essi”. DuMouchel ha anche precisato il proprio giudizio sui vaccini: “sono una delle innovazioni mediche più straordinarie degli ultimi mille anni”. Lo statistico, tuttavia, ha criticato la scelta delle autorità di non intervenire sul metodo di sorveglianza: “è davvero difficile sapere cosa avessero realmente in mente. O se accettare le loro giustificazioni per non voler cambiare metodo. Penso che abbiano sbagliato”.
Ana Szarfman ha invece spiegato di non aver mai avuto l’obiettivo di mettere in discussione la campagna vaccinale: “pochissime persone comprendono la statistica. Questo è il problema”. Secondo il BMJ, la vicenda apre interrogativi sul funzionamento dei sistemi di farmacovigilanza utilizzati durante una delle più grandi campagne vaccinali della storia, evidenziando il ruolo cruciale della qualità degli strumenti statistici nella valutazione della sicurezza dei farmaci e dei vaccini.