L’argument principal dans ce sens est que les firmes pharmaceutiques ont beaucoup plus d’intérêt à promouvoir le développement d’un coûteux vaccin qu’à reconnaître l’efficacité de l’HCQ, car il s’agit d’un médicament peu coûteux, déjà disponible sur le marché. Mais est-il plausible que le secteur des “Big Pharma” ait plus d’influence sur les chercheurs, les medias, les politiques,…. que tous les autres acteurs économiques réunis, qui de leur côté ont tout intérêt à ce que la pandémie se termine au plus vite? Est-il crédible que toutes ces personnes, sauf D. Raoult et son équipe, soient “vendues” à Big Pharma, et aient plus d’intérêt à taire cette information qu’à la révéler, alors qu’ils souffrent eux-mêmes considérablement au quotidien des restrictions sanitaires (et pour les politiques, de l’impopularité de ces mesures, nuisible à leur score électoral)? On notera par ailleurs que D. Raoult et sa fondation ne sont pas sans lien avec l’industrie pharmaceutique (Sanofi) et médicale (Pocramé).
Par ailleurs, pourquoi aurait-on publié des résultats montrant l’efficacité de la dexamethasone pour réduire la mortalité des patients gravement atteints, alors qu’il s’agit également d’un médicament bien connu et peu coûteux? Notons aussi que l’HCQ n’est commercialisé en France que sous son nom de marque (Plaquénil, par Sanofi) et est donc bien, même si peu coûteux à l’unité, source de profits pour l’industrie pharmaceutique.
Notons enfin que de nombreux autres candidats anti-viraux potentiels, dont certains sont largement disponibles sous forme générique, n’ont pas fait l’objet d’autant d’attention que l’HCQ (mais aucun de ces candidats, tout comme l’HCQ, n’a finalement montré d’effet significatif lors d’essais cliniques).

Il faut bien noter que le consensus scientifique ne porte pas avant tout sur l’inefficacité de l’HCQ, mais bien sur le fait que la plupart des études concluant à cette inefficacité sont plus fiables que les études concluant à son efficacité¹. En particulier, il y a de nombreuses raisons d’accorder plus de crédit, en général, aux résultats d’un essai randomisé contrôlé qu’à ceux d’une étude observationnelle rétrospective pour évaluer l’efficacité d’un traitement, et ces raisons ne datent pas d’hier (voir plus bas).

Lorsqu’on examine sur quoi repose la réputation de D. Raoult, on se rend compte qu’il y a plus de raisons a priori de de douter de son intégrité scientifique que de lui accorder du crédit. En raison de son nombre de publications tout d’abord: lorsqu’on est co-auteur de plus de 100 publications par an au cours des 10 dernières années, càd au moins 2 publications par semaine⁴, il est impossible de faire beaucoup plus que de mettre sa signature sur la plupart des articles. Pour donner un point de comparaison, un chercheur en début de carrière (doctorant) publie rarement plus d’un article par an (en moyenne sur la durée de sa thèse) et un chercheur “confirmé” est rarement réellement co-auteur de plus de 5 à 10 travaux par an. Au-delà, la participation à un article ne reflète au mieux un travail de supervision superficiel (en tant que directeur d’une équipe de recherche,…), au pire la caution à des travaux auxquels on n’a pas participé. L’intérêt pour un chercheur de publier beaucoup n’est pas seulement le prestige et l’avancée de la carrière personnelle, mais aussi l’obtention de financements. Dans certains domaines, une partie du budget alloué aux centres de recherche est directement fonction du nombre de publications accumulées par les membres du centre (voir par exemple ici et ici).

La production de D. Raoult est également exceptionnelle de par les journaux dans lequel il a publié. En effet, comme le montre cette analyse, D. Raoult a signé plus de 230 articles sur une période de 7 ans dans le seul journal « New microbes and New infections » (NMNI), dont l’éditeur en chef, l’éditeur suppléant, et 3 éditeur(trice)s associé(e)s sont membres de son institut, l’IHU de Marseille. Pour l’année 2016, on note 105 articles cosignés par D. Raoult, ce qui représente 60.7% des articles du journal. C’est une proportion extrêmement inhabituelle.

D’autres informations interpellantes concernant la déontologie de D. Raoult sont données dans cet article de Mediapart et sur cette page de blog.

Bien sûr. Malheureusement, la plupart d’entre nous n’ont pas le bagage nécessaire pour comprendre le détail de ces publications scientifiques. Et il est illusoire de croire qu’en lisant quelques articles de vulgarisation sur le net, nous allons être capables d’évaluer réellement le travail effectué. En réalité, il nous faudrait refaire des années d’études pour cela ( ce cartoon illustre à merveille cet état de fait). Nous ne pouvons donc effectuer cet examen que partiellement, et en interrogeant des spécialistes pour répondre à nos questions sur les nombreux points que nous ne serons pas à même d’éclaircir seuls (car un biais cognitif fréquent est de considérer que les points que nous ne comprenons pas n’ont pas d’importance, et de “passer outre” ces éléments alors qu’ils sont potentiellement cruciaux).

Ce que nous pouvons toujours faire, cependant, dans le cas d’une controverse, c’est examiner dans quelle mesure chaque partie apporte des réponses aux critiques soulevées par l’autre. Si l’une des deux parties ignore les critiques de l’autre, ou les nie sans apporter d’argument, nous pouvons légitimement mettre en doute les conclusions qu’elle met en avant. Dans le cas de la controverse sur l’HCQ, une telle analyse penche clairement en défaveur de D. Raoult et son équipe:

• l’examen des études de Raoult et al. met en lumière de graves manquements méthodologiques, quand ce ne sont pas tout bonnement des fraudes, que les auteurs ont été incapables de justifier (voir ci-dessous);
• la plupart des études de bonne qualité sur l’HCQ concluent à son inefficacité (voir ci-dessous).

La plupart des biais que comportent ces études sont compréhensibles sans formation scientifique poussée; en voici les principaux.

La première étude (Gautret et al.) portait sur un petit de nombre de patients (42 initialement, 36 après exclusion de patients).

• Le groupe contrôle (non soumis au traitement) et le groupe traité (soumis au traitement) n’étaient pas comparables notamment en termes d’âge, d’état clinique et de sexe, et aucun ajustement statistique n’a été réalisé pour tenter de corriger ces biais a posteriori.
• Des 26 patients soumis initialement au traitement (contre 16 dans le groupe de contrôle), 6 ont été exclus du groupe recevant de l’HCQ, dont 4 suite à une détérioration de leur état (3 admis aux soins intensifs, 1 décédé, 1 nauséeux et 1 sorti de l’hôpital). L’étude ne portant que sur la charge virale des patients (mesurée par RT-PCR) et non leur état clinique global, la détérioration de l’état de 4 patients dans le groupe traité n’est pas reflété dans les conclusions de l’étude.
• L’étude devait normalement porter sur 2 semaines, avec des mesures aux jours 1,4,7 et 14 (cf. son enregistrement ici), mais ne comporte finalement des résultats de tests que pour les jours 0 à 6.
• Pour plusieurs patients, les résultats des tests fluctuent d’un jour à l’autre, et les résultats de plusieurs jours sont manquants. Cela met a minima en question la pertinence de la mesure de charge virale effectuée pour évaluer l’état de santé réel des patients. (La significativité statistique des résultats a également été mise en question.)
• Certains des résultats de tests fournis (pour un même patient, à une même date) ont changé entre la version préliminaire et la version finale de l’article.
• Il semble que la majorité des patients testés positifs dans le groupe contrôle l’ont été au moyen d’un test PCR différent (non quantitatif) que celui utilisé pour les autres patients, test qu’il est facile de rendre artificiellement positif.

La deuxième étude (Million et al.), portait sur la mortalité observée chez 1061 patients traités à l’HCQ + Azithromycine (AZ). Comme elle ne comportait pas de groupe contrôle, il est impossible d’évaluer si le traitement fait mieux qu’un placebo ou un autre traitement. En particulier, une très large proportion des patients traités n’avaient que de très légers symptômes. Il n’est donc pas étonnant que la mortalité de ce groupe soit inférieure à celle observée dans d’autres populations hospitalisées (alors que cette mortalité “réduite” est un des arguments les plus mis en avant publiquement par Raoult pour promouvoir l’HCQ). Enfin, l’étude ne portait que sur les patients ayant suivi le traitement au moins 3 jours, de sorte que les patients décédés avant ce délai ne sont pas pris en compte dans les statistiques de mortalité.

La troisième étude (Lagier et al.) est une extension de la précédente à 3767 patients, dont 3119 traités avec HCQ+AZ durant au moins 3 jours, et 618 soumis à un “autre” traitement. La non uniformité de ce traitement alternatif, qui comporte non seulement des patients ne prenant aucun des deux médicaments (162), mais également des patients soumis à HCQ seul (101), à AZ seul (131), et… tous les patients ayant supporté le traitement moins de 3 jours (218), est une source importante de biais. En particulier, les patients décédés endéans les 3 premiers jours du traitement sont compatibilisés dans le groupe contrôle, augmentant indûment la mortalité estimée pour ce groupe⁵.

Tous les éléments mentionnés ci-dessus (non exhaustifs) peuvent être vérifiés, de même que l’absence de réponse substantielle de Raoult et al. à ces manquements.

En sus de ces élements de fond, on notera que la première étude a été publiée en 24h (délai endéans lequel un travail de revue par les pairs est pratiquement impossible), dans un journal (IJAA) dont l’éditeur en chef (J.M. Rolain) est co-auteur de la publication (et membre de l’IHU de Marseille). Les deux autres études sont publiées dans un journal (TMID) dont un des éditeurs associés (P. Gautret) est également co-auteur et membre de l’IHU. Rien ne peut être déduit avec certitude de ces conflits d’intérêt potentiels, mais ils constituent une explication plausible au fait que des études si fortement biaisées aient été acceptées pour publication (et non rétractées a posteriori). On notera par ailleurs qu’en 2006, suite à la mise à jour de manipulation de données, l’American Society for Microbiology (ASM) avait quant à elle interdit D. Raoult et ses co-auteurs de publications pendant un an dans toutes les revues scientifiques de cette assocation.

La plupart des études concluant à l’efficacité de l’HCQ sont des études dites observationnelles⁶, dans lesquelles rien n’a été fait a priori pour assurer la comparabilité entre le groupe soumis au traitement et le groupe non soumis au traitement. En particulier, les deux groupes ont généralement des caractéristiques différentes en termes d’âge, de sexe, de comorbidités (facteurs de risque préalables pour la maladie), d’état clinique au démarrage du traitement,… Il existe des méthodes mathématiques (impliquant une modélisation multivariée) visant à corriger a posteriori ces biais dits de “confusion”, mais elles requièrent que les données concernant toutes les variables pouvant affecter le résultat du traitement soient disponibles, ce qui n’est généralement pas le cas (ne serait-ce que parce qu’on ne connaît pas tous les facteurs de risque pour une pathologie nouvelle⁷). Ces méthodes d'“ajustement” reposent de plus sur des hypothèses concernant la manière dont les différentes variables de confusion connues affectent le résultat du traitement, hypothèses qui sont généralement au mieux des approximations acceptables.

Non seulement les études observationnelles sont intrinsèquement sujettes aux biais de confusion, mais plusieurs études observationnelles sur l’HCQ n’utilisent que partiellement les méthodes existant pour atténuer ce type de biais, voire ne les utilisent pas du tout. Les études observationnelles sont également sujettes à d’autre biais, dont les principaux sont listés ici⁸. Pour évaluer si le niveau de biais d’une étude observationnelle est acceptable, il existe des outils tels que ROBINS-I, qui propose de les évaluer sur une échelle à 4 niveaux: faible, modéré, important, et critique. Lorsqu’une étude observationnelle présente un biais critique, elle est considérée comme non fiable. C’est la méthode d’évaluation qu’ont notamment suivi les auteurs de cette méta-analyse⁹. On peut voir dans les fichiers fournis en complément de l’article pourquoi plusieurs études observationnelles (outre celles de Raoult et al.) ont du être écartées de la méta-analyse.

Les essais contrôlés randomisés (ECR) de grande ampleur sont, en général, peu sujets aux biais de confusion. En effet, comme la répartition des patients entre deux groupes est déterminée par tirage au sort, pour autant que le nombre de participants soit suffisamment grand, l’équilibre statistique entre les deux groupes est assuré. Cette méthode garantit donc également que les deux groupes sont équilibrés au niveau des facteurs inconnus qui pourraient affecter le résultat du traitement (et pour lesquels aucun ajustement statistique a posteriori n’est possible). On vérifie généralement à l’issue du tirage au sort si l’équilibre entre les groupes est effectivement atteint pour les facteurs de risque connus (voir par exemple cette table pour l’essai contrôlé randomisé RECOVERY sur l’HCQ). Lorsque ce n’est pas le cas, on peut, comme pour les études observationnelles, utilser des méthodes mathématiques pour essayer de corriger a posteriori les biais de confusion.

Les essais contrôlés randomisés de grande envergure qui ont été menés pour évaluer différents traitements potentiels de la covid-19, RECOVERY et WHO Solidarity, ont conclu à l’inefficacité de l’HCQ. Une méta-analyse qui portait sur une majorité d’études observationnelles (car il y avait peu de résultats d’ECR disponibles au moment où ce travail a été réalisé), a abouti aux mêmes conclusions. D’autres méta-analyses, comportant un plus grand nombre d’ECR, ont corroborré ces résultats¹⁰. En fait, la plupart des ECR publiés aujourd’hui concluent individuellement à l’absence d’effet significatif de l’HCQ (voir par exemple ce tableau). C’est pour ces raisons que les spécialistes concluent à l’inefficacité de l’HCQ.

Il y a essentiellement deux raisons de ne pas faire confiance aux informations rapportées sur la page hcqmeta.com (en suivant une démarche de “pensée critique à deux vitesses” telle que décrite ici).

La première (qui ne nécessite pas de connaissance particulière du sujet) est de constater que les auteurs ne déclarent pas leur identité, et ne sont joignables d’aucune manière¹¹. S’il s’agissait d’une étude sérieuse, les auteurs publieraient a minima leur travail sur une plateforme scientifique d’accès libre telle que medRxiv, où tout chercheur peut rendre ses résultats disponibles à la communauté scientifique avant qu’il soit accepté pour publication dans un journal. En particulier, l’existence d’un “complot” empêchant la publication d’une étude dans un journal scientifique ne tient pas pour ce genre de plateforme, ouverte à des travaux encore non évalués pour publication.

La deuxième raison (qui repose sur les notions discutées dans la question précédente) est que cette page est un simulacre de méta-analyse⁹. En effet, elle inclut un grand nombre d’études non valides, car comportant des biais critiques (voir question précédente). En outre, même si elle n’incluait que des études avec des biais tolérables, la mesure d’efficacité de l’HCQ qu’elle donne n’a aucun sens, car elle mélange des données relatives à des indicateurs différents (proportions de décès, de patients avec tests PCR positifs, de personnes hospitalisées,…) mesurés à des moments différents après le début du traitement¹². Aucune information n’est donnée quant au poids accordé aux différents indicateurs et aux différentes études dans le calcul de la mesure globale d’efficacité. C’est un peu comme si on disait que manger du chocolat améliore notre état général de 15% parce qu’en moyenne, il améliore l’humeur de 30% et augmente le poids de 10%, sans préciser quelle importance a été donnée à chacune des variables dans l’estimation globale de l’effet, et sans que les deux variables aient été mesurées au même moment chez tous les individus.
Une méta-analyse valide porte sur un indicateur à la fois, et le poids accordé aux différents études sur le sujet est une fonction bien définie de la dispersion des résultats autour de la moyenne (un choix fréquent est de donner un poids inversément proportionnel à la variance des résultats).

Une analyse plus approfondie du contenu de la page hcqmeta.com est réalisée ici.

C’est uniquement la dose initiale d’HCQ qui était plus élevée dans les essais Recovery et Solidarity que dans les études précédentes, et cela pour maximiser les chances d’observer un effet bénéfique. En effet, des études in vitro ont montré qu’il fallait des concentrations cellulaires élévées pour que l’HCQ puisse montrer un effet anti-viral¹³. Pour avoir un espoir d’atteindre ces concentrations in vivo endéans quelques jours (puisque l’état des patients hospitalisés peut rapidement dégénérer), il est apparu nécessaire de donner les doses les plus élevées possibles tout en restant en-dessous du seuil de toxicité. La dose retenue n’est potentiellement toxique que si elle est administrée sur une longue période, comme dans le cadre du traitement de maladies chroniques comme le lupus.

Malgré cela, et probablement en grande partie en raison des attentes créées par le “buzz” autour de l’HCQ, d’autres essais contrôlés randomisés ont été bien menés avec des doses plus faibles d’HCQ, sans montrer d’effet significatif non plus (par exemple cette étude). L’HCQ a également été testé en prophylaxie (traitement préventif).

Le seul effet plausible de l’HCQ à faible dose est un effet anti-inflammatoire (et non anti-viral), qui est inutile, voire contre-productif, aux stades peu avancés de la covid-19 (car il réduit la réponse immunitaire de l’organisme) et peut uniquement être bénéfique à un stade sévère où on constate un emballement du système immunitaire. Or, D. Raoult motivait sa promotion du traitement HCQ par son potentiel effet anti-viral, et insistait sur la nécessité de donner le traitement au début de la maladie….

Tous les malades inclus dans des essais randomisés contrôlés avaient, bien évidemment, été diagnostiqués comme porteurs de la covid-19. Le test PCR ne constitue qu’un élément du diagnostic de la maladie; bien d’autres éléments entrent en jeu (symptômes, scanner thoracique,…). La charge virale mesurée par un test PCR naso-pharyngé peut fluctuer dans le temps, …comme l’illustre à merveille la première étude de Raoult et al. (voir ci-dessus).

La proportion de patients dont le test PCR était négatif au démarrage de l’étude est faible dans les grands essais Recovery et Solidarity (moins de 10%) et, par construction d’un essai randomisé contrôlé, ces proportions sont quasi identiques dans le groupe traité et dans le groupe contrôle. Enfin, les auteurs ont vérifié a posteriori que leurs résultats étaient inchangés si les malades avec un test PCR négatif n’étaient pas prise en compte.

Il est intéressant de mettre en perspective l’importance accordée par D. Raoult à la réalisation de tests PCR pour le diagnostic de la covid-19 avec le fait qu’il a co-créé, avec d’autres membres de l’IHU, une société ( Pocramé) qui produit de tels tests, et dans laquelle il possède des actions.

Enfin, il est ironique de noter que certains sympathisants de D. Raoult, tels que C. Perronne, ont quant à eux mis en doute la fiabilité des tests PCR pour le diagnostic de la covid-19, prétendant qu’ils génèreraient de nombreux faux positifs et conduiraient dès lors à surestimer l’importance de l’épidémie… Bref, il y a pour le moins des divergences de vue dans l’entourage de D. Raoult.

Oui, lorsqu’il n’est pas possible d’effectuer un ECR pour des raisons éthiques¹⁴. Un des exemples les plus connus est l’étude des effets du tabac sur la santé. On n’a évidemment jamais imposé à un groupe d’individus de fumer une certaine quantité de tabac par jour pour étudier ses effets; on a à la place comparé des populations de fumeurs (déjà “pratiquants”) à des populations de non-fumeurs avec des caractéristiques aussi similaires que possible (voir par exemple cette vidéo).

La plupart des autres limitations des ECR… sont aussi valables pour les études observationnelles:

• La portée (“validité externe”) des résultats: si l’échantillon de population étudié n’est pas représentatif de la population générale (ou en tout cas de la population susceptible d’être affectée par la maladie), les conclusions de l’étude ne seront évidemment pas valables en dehors de cette population. De même, si l’étude porte sur une posologie particulière du médicament (ex: faible dose), elle ne sera pas valable pour une autre posologie (ex: large dose); si elle ne mesure qu’un effet particulier du traitement (ex: variation de charge virale), elle ne permettra pas de conclure quant à d’autres aspects (ex: amélioration des capacités respiratoires du malade),…

• La durée de l’étude: par construction, une étude ne permet d’étudier que les effets se produisant endéans la durée du suivi des individus. En particulier, des effets secondaires de long terme ne pourront être mis en évidence par une étude de court terme, quelle que soit sa nature (observationnelle ou ECR).

• L’utilisation de “big data”: seul un grand nombre de participants, de caractéristiques variées, peut garantir que les résultats d’une étude soit valable en dehors de l’échantillon de population étudié. Il n’est jamais vrai qu’un échantillon de petite taille permet de mieux mettre en évidence un effet; il est seulement vrai que si l’effet d’un traitement est très grand, il sera déjà visible (“statistiquement significatif”) dans un échantillon de population de petite taille. Plusieurs des études observationnelles mises en avant par Raoult & co pour défendre l’efficacité de l’HCQ portaient sur de grandes populations de patients réparties sur de multiples hôpitaux, et peuvent donc tout autant être qualifiées d’études “big data” que les essais Recovery et Solidarity¹⁵.

En bref, une étude observationnelle bien conçue (pour minimiser les biais intrinsèques à ce type d’étude, cf. Q6) ne fera au mieux que s’approcher de l’essai contrôlé randomisé qui n’a pu être réalisé en lieu et place de celle-ci. C’est pour cela que, en temps normal, on n’évalue jamais l’efficacité d’un médicament au moyen d’études observationnelles.