Lo studio che ha “rivoluzionato” la storia della medicina (parola di Donald Trump) non presentava solo problemi relativi alla mancata randomizzazione. Vediamone solo alcuni:
Qualche conflitto di interessi
Lo studio è apparso come “preprint” il 16 marzo su medrxiv. Il preprint è una versione non ancora valutata dai referee ed è una anticipazione che compare su piattaforme dedicate in modo che la comunità scientifica possa leggerlo in anticipo.
Nello stesso giorno viene inviato alla rivista International Journal of Antimicrobial Agents che il 17 marzo lo accetta per la pubblicazione (approvazione in 24 ore!) e compare online il 20 marzo.
E’ un elenco interminabile di Autori. L’ultimo è l’ormai notissimo Didier Raoult. Una specie di semidio che ha raggiunto una popolarità impressionante (ne parleremo dopo). Il terzultimo ve l’ho sottolineato appositamente. Uno degli autori dell’articolo è un certo JM Rolain. Sapete chi è?
Si! E’ l’Editor in Chief (Responsabile Editoriale) dell’International Journal of Antimicrobial Agents. Praticamente chi ha collaborato allo studio lo ha anche recensito e fatto pubblicare.
Aspetti etici
Gli studi sperimentali sull’uomo devono essere approvati da un Comitato Etico. L’agenzia nazionale del farmaco francese rilascia la sua approvazione il 5 marzo 2020. Il comitato etico dà il suo placet il 6 marzo. Lo studio afferma che i pazienti verranno seguiti fino al 14° giorno. Ma se il 16 marzo era già scritto e pubblicato pare ovvio che lo studio fosse già iniziato prima di qualsiasi autorizzazione. Inoltre lo studio afferma che non verranno reclutati bambini sotto i 12 anni. Ce ne sono ben due (vd. dopo).
Discrepanza tra gli obiettivi dichiarati e la pubblicazione
Nel registro europeo dei trials clinici, dove ogni studio clinico deve essere preventivamente inserito, lo studio è registrato con il codice univoco EudraCT: 2020-000890-25. Gli endpoints che i ricercatori si prefiggono sono i seguenti:
Quindi lo studio si prefigge di valutare tramite PCR la presenza del SARS-n-Cov-2 ovvero del virus responsabile del COVID-19 al giorno 1, 4, 7 e 14.
Ma lo studio presenta i risultati dei dati dei tamponi fino al giorno 6. Come mai i dati al giorno 7 non ci sono?
E come mai per quanto riguarda gli endpoints secondari (apiressia, normalizzazione frequenza respiratoria degenza media e mortalità) nella pubblicazione non c’è più traccia?
Assegnazione dei pazienti e selection bias
Della randomizzazione (assente) abbiamo già detto. Vi è un un ulteriore aspetto che inficia la validità dello studio e che ha anche un rilievo etico.
Quando si propone uno studio clinico ad un gruppo di pazienti questi ultimi accettano o non accettano di partecipare allo studio. Raoult e colleghi hanno scavalcato le regole base di uno studio clinico: chi ha accettato ha assunto l’idrossiclorochina, chi non ha accettato invece di essere escluso è stato posto nel braccio di controllo. Eticamente inaccettabile. Ma che consenso informato hanno fatto firmare ai pazienti? Il rifiuto al trattamento può inoltre costituire un bias specifico in quanto i pazienti possono autoselezionarsi in quanto ritengono di avere delle controindicazioni ad assumere il farmaco, sbilanciando ulteriormente il confronto dei gruppi.
Sei pazienti persi al follow-up. Tutti nel gruppo della idrossiclorochina
Qui siamo nel campo della distorsione dei risultati al cubo. In termine tecnico si chiama attrition bias. Facciamo un esempio: supponiamo una sperimentazione con 100 pazienti affetti da una patologia tumorale molto aggressiva. Randomizzo (lo so, qui non hanno neppure fatto questo) 50 pazienti ad effettuare un nuovo trattamento e altri 50 a effettuare un trattamento standard. Innanzitutto chi rifiuta di entrare nello studio non vi partecipa (lo so, lo so, qui non hanno fatto neppure questo).
Supponiamo che mi ponga l’obiettivo di valutare la remissione completa al 90° giorno dall’inizio dello studio, cioè dopo 3 mesi.
Dei 50 pazienti nel braccio sperimentale 11 non arrivano al 90° giorno: 6 muoiono anzitempo, 3 pazienti abbandonano il trattamento per gravi effetti collaterali e 2 non sono più rintracciabili. Mi rimangono 39 pazienti nel braccio sperimentale. I 39 pazienti rimasti nel braccio sperimentale evidenziano una ottima risposta al trattamento, di molto superiore ai 50 pazienti nel gruppo di controllo.
Quindi il trattamento sperimentale funziona?
Naaah!!!!. Non si può fare! Innanzitutto vale la regola aurea che sopra il 5% di perdite al follow up lo studio è pesantemente distorto. Se elimino dall’analisi i casi che abbandonano (o che addirittura vanno male) sovrastimo pesantemente l’efficacia del trattamento sperimentale.
Nello studio di Raoult il 23% dei casi (6/26) è dichiarato perso al follow up.
Ma non si tratta neppure di perdite al follow up! Dei sei casi che Raoult dice di aver perso, cinque sono veri e propri fallimenti terapeutici! (treatment failures): 3 pazienti vengono trasferiti in terapia intensiva, un paziente muore ed uno interrompe il trattamento per effetti collaterali (ed era comunque positivo al tampone).
Solo un paziente è un vero e proprio perso al follow up.
L’analisi, pensate un po’, viene fatta solo tra i 20 pazienti rimasti nel braccio sperimentale. Gli altri 6? Non vengono inclusi nella analisi. Chissa come mai…
L’attrition bias si verifica quando si determinano differenze sistematiche tra i pazienti che lasciano lo studio e quelli che lo continuano.
L’analisi fatta dai ricercatori (totalmente sbagliata!) è una analisi per protocol mentre l’analisi corretta è quella denominata intention to treat. In sintesi: non puoi far entrare nell’analisi dei risultati solo quello che ti fa comodo e lasciare fuori dai calcoli ciò che ti rovinebbe lo studio!
Parrebbe ovvio che chi è morto e chi è finito in rianimazione non era poi tanto libero dal virus vi pare?
E poi pensate: in 6 giorni riescono a perdere 6 pazienti! In soli 6 giorni 3 pazienti finiscono in terapia intensiva e 1 muore?Ma in che condizioni erano quando hanno deciso di inserirli nello studio?
I dati della tabella magicamente….cambiano
A questo link potete trovare l’articolo in fase di approvazione sulla rivista. In termine tecnico si chiama pre-proof. Esso viene reso disponibile il 17 marzo online.
Il pre-proof è l’articolo non ancora esaminato tramite la revisione critica da parte di valutatori del comitato editoriale. Ovviamente la revisione è stata talmente rapida (uno degli autori è responsabile editoriale della rivista) che neppure Speedy Gonzales avrebbe potuto fare meglio. Quindi il 20 aprile esce l’articolo.
Nello stesso tempo potrete scaricare a questo link il medesimo articolo sulla repository Medxriv che raccoglie gli articoli scientifici prima che vengano resi disponibili dalle riviste scientifiche.
Ma scaricando la tabella con i risultati dei tamponi su tutti i 36 casi rimasti possiamo confrontare quella dei 16 pazienti a cui non è stata somministrata la idrossiclorochina. Qualcosa non torna…..
Nella parte superiore potete vedere i dati dei 16 pazienti non trattati (pre-proof del sito della rivista). Nella parte inferiore gli stessi dati scaricati dalla banca dati Medxriv.
In giallo potete verificare come i tamponi denominati ND=Not Done (non eseguiti) diventano POS (positivi). In particolare (vedere cerchi) diventano positivi in massa al giorno 6 ben cinque pazienti. Un miracolo! I tamponi non eseguiti diventano magicamente positivi!
Beh…ce ne è già abbastanza per affermare che questo studio non poteva superare nemmeno l’analisi di una commissione di Laurea.
Io stesso avrei detto ad un fantomatico studente: “guardi, lei e la ricerca siete incompatibili. Le consiglio una bella tesi compilativa”
E invece no; c’è ancora altro. E soprattutto nel prosieguo potrete vedere l’acume anche di una Regione come il Piemonte nella scelta di adottare questa terapia.