Les fraudes et les mauvaises conduites méthodologiques dans les études de recherche médicale peuvent être démasquées par l'IA.

La fraude et la mauvaise conduite scientifiques sont de plus en plus redoutées des éditeurs d'articles scientifiques. Le journal anglais The Lancet Digital Health montre comment l'IA peut désormais aider à les dépister. Dans ce billet, nous donnons l'intégralité de cet éditorial publié le 24 avril 2024.

Retraction remedy: a resource for transparent science. Editorial| Volume 6, ISSUE 4, e230, April 2024. The Lancet Digital Health Open AccessPublished:April, 2024DOI:https://doi.org/10.1016/S2589-7500(24)00049-9

Les outils d'intelligence artificielle (IA) ont permis d'améliorer le discours scientifique de manière inattendue.

Avec l'aide de l'IA, le mois dernier, un détective spécialisé dans les inconduites de la recherche scientifique, Sholto David, a trouvé des incohérences méthodologiques dans 58 études rédigées par des scientifiques influents du Dana-Farber Cancer Institute, ce qui a entraîné la rétractation de six articles et des corrections dans 31 autres manuscrits. Cette découverte inattendue a fait la une du New York Times (https://www.nytimes.com/2024/01/22/health/dana-farber-cancer-studies-retractions.html) 

Les rétractations résultant de la fabrication d'images ou de fausses données sont en hausse.

https://www.nature.com/articles/d41586-023-03974-8

La revue Nature rapporte, en décembre 2023, que plus de 14 000 articles scientifiques ont été retirés pour "inconduite" de leurs auteurs, un record jamais atteint jusqu'à présent.

Ces inconduites pourraient être accrues en période d'urgence sanitaire mondiale. Pendant la pandémie de COVID-19, la fabrication présumée de données a donné lieu à un certain nombre d'études rétractées, remettant en question la véracité des données dans la recherche à un moment où l'intégrité de celle-ci était essentielle pour maintenir la confiance du public (https://www.thelancet.com/journals/landig/article/PIIS2589-7500(20)30198-9/fulltext).

Les communautés de recherche médicale et d'édition ont été réprimandées pour le manque de transparence dans la communication des données sur la COVID-19, illustré par deux rétractations  d'articles sur la COVID-19  publiés dans The Lancet et The New England Journal of Medicine. Ces études ont rapporté des données exclusives provenant de dossiers de santé électroniques prétendument obtenus de centaines d'hôpitaux à travers le monde par la société Surgisphere. L'analyse post-publication de ces articles a révélé de multiples incohérences dans les données et des questions sur la provenance des sources de données. Lorsque ces questions embarrassantes ont été soumises aux auteurs des articles, il est apparu que les données ne pouvaient pas être partagées avec le public, ni avec un auditeur indépendant, et que la véracité de ces données ne pouvait donc pas être garantie.

L'affaire d'inconduite de Surgisphere a entraîné la perte de ressources et de temps précieux en période d'urgence sanitaire mondiale. L'affaire a également mis en évidence le besoin d'accélérer les efforts pour une plus grande surveillance des données et une plus grande transparence dans la recherche médicale. La divulgation de données brutes peut protéger contre une éventuelle inconduite. Plus important encore, comme le  soulignent Cosgriff et ses collègues, le partage des données devrait améliorer la collaboration mondiale et favoriser l'analyse en temps réel pour un meilleur contrôle des futures épidémies comme la COVID-19. Alors pourquoi les données COVID-19 ne sont-elles pas partagées avec les chercheurs ?

Ces cas s'ajoutent au gaspillage stupéfiant de la recherche médicale, estimé à plus de 170 milliards de dollars par an, soulignant également le besoin urgent de solutions pour renforcer la confiance du public et la transparence sur lesquelles repose le discours scientifique.

Les causes de ces inconduites sont connues

Dans un paysage scientifique en perpétuelle évolution, des facteurs systémiques et des contextes incitatifs (https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(24)00349-0/fulltext), tels que l'accent mis sur la quantité d'articles publiés; ainsi que les facteurs d'impact des revues considérées comme des indicateurs de la qualité de la recherche, tous ces facteurs contribuent à l'escalade de l'inconduite scientifique.

Les allégations de fautes commises par des travaux de recherche sont-elles en augmentation ? Avec plusieurs cas récents très médiatisés, on peut certainement en ressentir le sens. Les accusations de manipulation d'images par les scientifiques du Dana Farber Cancer Institute ont récemment conduit à plusieurs rétractions. Selon une analyse de la revue Nature, plus de 14 000 articles ont été rétractés en 2023 - le plus grand nombre jamais atteint  - avec plus de 8 000 liés à Hindawi, un éditeur à accès libre, dirigé par son propriétaire Wiley qui a appelé à la « manipulation systématique à grande échelle » impliquant des fabriques d'articles, des usines de révision et des problèmes spéciaux frauduleux. Le rôle de l'intelligence artificielle dans les fautes professionnelles est une préoccupation supplémentaire. La faute professionnelle en recherche n'est pas nouvelle, mais l'ampleur et la portée de ces cas représentent une menace pour l'ensemble du monde scientifique. Les fautes professionnelles en recherche peuvent non seulement contribuer au gaspillage financier, mais aussi être responsable de dommages réels pour les patients en déformant la base de données factuelles. Ces cas ont une fois de plus mis en évidence la fragilité de la confiance dans la science. Tous les acteurs clés de l'écosystème de la recherche  et les éditeurs ont notamment besoin de se poser des questions difficiles sur les moteurs de ces inconduites.

La volonté des éditeurs d'améliorer la qualité méthodologique des études scientifiques

Des défis à surmonter

Van Calster et ses collègues soulignent le problème omniprésent selon lequel les incitations à la recherche privilégient la quantité et la nouveauté à la qualité méthodologique. Les auteurs préconisent des actions de la part des revues, des organismes de financement, des universités et des gouvernements pour mettre l'accent sur la rigueur méthodologique et la transparence des rapports tout au long du processus de recherche (https://www.jclinepi.com/article/S0895-4356(21)00170-0/fulltext).

La recherche sur le Covid-19 a montré douloureusement que le scandale de la mauvaise recherche médicale, tel qu'elle fut dénoncée par Altman dès 1994, persistait aujourd'hui. La qualité globale de la recherche médicale reste médiocre, malgré des critiques de longue date. Les problèmes sont bien connus, mais la communauté des chercheurs ne parvient pas à les résoudre correctement.

Nous suggérons que la plupart des problèmes découlent d'un paradoxe sous-jacent : bien que la méthodologie soit indéniablement l'épine dorsale d'une recherche responsable et de haute qualité, la science sous-estime constamment la méthodologie. L'accent reste davantage mis sur la destination (recherche, affirmations et mesures) que sur le voyage. Néanmoins, la recherche doit servir la société plus que la réputation des personnes impliquées. Bien que nous remarquions que de nombreuses initiatives ont été mises en place pour améliorer les composantes du cycle de recherche, ces initiatives sont trop décousues. Le système global est monolithique et lent à s'adapter. Nous affirmons que les revues, les universités, les bailleurs de fonds et les gouvernements doivent agir de haut en bas pour briser le cycle et donner la priorité à la méthodologie. Ces mesures devraient comprendre l'adoption généralisée des rapports enregistrés, un financement équilibré de la recherche entre les projets de recherche novateurs, progressifs et méthodologiques, la pleine reconnaissance et la démystification de l'évaluation par les pairs, l'amélioration de l'évaluation méthodologique des rapports, le respect des lignes directrices en matière de rapports et l'investissement dans l'éducation et la recherche méthodologiques. Actuellement, le monde scientifique rend un très mauvais service aux patients et à la société.

Les propositions du Journal The Lancet Digital Health

En réponse aux défis de la communication des données, l'équipe de The Lancet Digital Health est ravie d'annoncer un nouveau type d'article, appelé Resource, lequel est conçu pour présenter et développer la génération et la disponibilité d'ensembles de données de santé robustes, de ressources de données, de méthodes innovantes et d'outils à utiliser en milieu clinique.

Les articles de référence visent à promouvoir la communication transparente et complète des données et des logiciels, ainsi qu'à favoriser la collaboration entre les communautés de recherche interdisciplinaires. Nous invitons nos lecteurs à se plonger dans notre premier article de ressources, qui donne un aperçu de l'analyse comparative d'une modélisation normative de la morphométrie cérébrale dans les troubles neuropsychiatriques (https://www.thelancet.com/journals/landig/article/PIIS2589-7500(23)00250-9/fulltext).

La valeur des modèles normatifs dans la recherche et la pratique clinique repose sur leur robustesse et une comparaison systématique de différents algorithmes et paramètres de modélisation, mais cela n'a pas été fait à ce jour. Nous avons cherché à identifier l'approche optimale pour la modélisation normative des données morphométriques cérébrales par le biais d'une analyse comparative empirique systématique, en quantifiant la précision de différents algorithmes et en identifiant les paramètres qui optimisent les performances du modèle. Nous avons développé ce cadre avec des données morphométriques régionales provenant de 37 407 individus en bonne santé (53 % de femmes et 47 % d'hommes ; âgés de 3 à 90 ans) provenant de 87 ensembles de données d'Europe, d'Australie, des États-Unis, d'Afrique du Sud et d'Asie de l'Est, à la suite d'une évaluation comparative de huit algorithmes et de multiples combinaisons de covariables relatives à l'acquisition et à la qualité des images, aux versions du logiciel de parcellisation, aux mesures mondiales de neuro-imagerie  et la stabilité longitudinale. La régression polynomiale fractionnaire multivariée (MFPR) s'est imposée comme l'algorithme préféré, optimisé avec des polynômes non linéaires pour l'âge et les effets linéaires des mesures globales comme covariables. Les modèles MFPR ont montré une excellente précision tout au long de la durée de vie et dans des tranches d'âge distinctes et une stabilité longitudinale sur une période de 2 ans. La performance de tous les modèles MFPR a plafonné à des tailles d'échantillon supérieures à 3000 participants à l'étude. Ce modèle peut renseigner sur les implications biologiques et comportementales des écarts par rapport aux changements neuroanatomiques typiques liés à l'âge et soutenir les plans d'étude futurs. Le modèle et les scripts décrits ici sont disponibles gratuitement via CentileBrain.

Cette étude représente une évaluation de la performance comparative de huit algorithmes utilisés pour la modélisation normative, une classe de méthodes statistiques permettant de quantifier le degré d'écart d'une mesure au niveau individuel par rapport à la population de référence normative. Nous sommes optimistes quant à la progression de la transparence des rapports sur les méthodes qui augmenteront les chances d'adoption clinique des outils d'IA dans des conditions réelles. Cependant, bien que la communication transparente des méthodes et des données puisse créer des obstacles importants à la fabrication de données, il est important de noter que cette transparence ne peut à elle seule prévenir l'inconduite en recherche. Cela est particulièrement pertinent compte tenu du potentiel des nouvelles technologies, y compris l'IA générative, pour accélérer les inconduites en matière de recherche, y compris la fabrication de données (https://jamanetwork.com/journals/jamaophthalmology/article-abstract/2811505).

Depuis sa sortie publique par OpenAI à la fin de 2022, ChatGPT (transformateur précontraint générateur) a fait l'objet de plusieurs mises à jour. En mars 2023, le grand modèle linguistique (LLM) GPT-4 est sorti, marquant des améliorations dans la compréhension sémantique et la génération de réponses par rapport au GPT-3. Plus récemment, les capacités du GPT-4 ont été développées avec Advanced Data Analysis (ADA), un modèle qui gère Python. Cet outil prend en charge les téléchargements de fichiers et peut effectuer à la fois l'analyse statistique et la visualisation des données.^. Nous avons évalué la capacité de GPT-4 ADA (OpenAI; 09/11/2023 version) à créer un faux ensemble de données qui peut être utilisé pour la recherche scientifique.

Le défi de la transparence

La transparence des rapports est sans aucun doute un défi, nécessitant non seulement des infrastructures et du financement, mais aussi une reconnaissance et des récompenses appropriées pour les chercheurs. Les chercheurs interdisciplinaires qui travaillent sur les aspects éthiques, réglementaires et opérationnels du partage des données sont des contributeurs essentiels à cet effort continu. Les revues, les instituts de recherche et les organismes de financement doivent travailler davantage pour s'assurer que les incitations à la recherche sont conçues pour soutenir la communauté diversifiée des scientifiques, en donnant la priorité à une science solide et reproductible pour de meilleurs soins de santé.

Le mois dernier, le Bureau de la politique scientifique et technologique de la Maison-Blanche des États-Unis a déclaré que l'«Année de la science ouverte" (https://www.whitehouse.gov/ostp/news-updates/2024/01/31/fact-sheet-biden-harris-administration-marks-the-anniversary-of-ostps-year-of-open-science/) avait pris fin. Plusieurs priorités de science ouverte mises en œuvre en 2023 ont été célébrées, notamment la politique de gestion et de partage des données de santé des National Institutes of Health et les investissements dans les infrastructures de science ouverte visant à fournir un accès public aux données scientifiques. Ces principes de science ouverte offrent une voie prometteuse pour créer un environnement de recherche de plus en plus robuste et transparent.

Nous exhortons ainsi les chercheurs, les institutions et les revues à adopter des méthodologies et des données ouvertes qui non seulement accélèrent les découvertes scientifiques, mais garantissent également la fiabilité et la reproductibilité des connaissances qu'elles génèrent. Nous invitons à réaliser des articles de ressources qui visent à mettre en lumière un ensemble de données ou un logiciel important, ouvert à la pratique clinique et ayant le potentiel d'affecter et d'aider l'ensemble de la communauté clinique. Cet engagement renouvelé à respecter les normes d'intégrité les plus élevées peut nous aider à naviguer dans le paysage complexe de la science moderne.

Commentaires. Cet éditorial a le mérite de faire un état des lieux sur les fraudes et les inconduites en matière de recherche scientifique médicale. Il met l'accent sur une nécessaire éthique de la recherche scientifique en rappelant aux chercheurs qu'ils doivent être exigeants sur le niveau de qualité méthodologique de leurs études afin que les résultats soient probants et profitent à la santé des citoyens. L'éditorial dénonce une recherche scientifique qui viserait surtout la quantité d'articles à publier, au détriment de la qualité méthodologique. Il souligne également la manipulation des données et des résultats pour obtenir une publication dans les revues de référence. Cette fraude de plus en plus fréquente (chiffre record en 2023) doit être révélée au grand public et leurs auteurs sanctionnés. Certaines inconduites méthodologiques ne sont pas toujours volontaires. L'IA peut aujourd'hui aider les éditeurs d'articles à les mettre en évidence et à exiger leur correction. Les outils fondés sur l'IA générative peuvent créer de fausses données qui altèrent la fiabilité des résultats. Enfin, la transparence des données et leur partage universel devraient contribuer à une plus grande robustesse et fiabilité des résultats. C'est l'objectif de nombreux pays européens, notamment de la France avec le Health data Hub, lequel a vocation à s'intégrer dans une banque européenne de données de santé, permettant ainsi aux chercheurs d'utiliser des données fiables et robustes.

Cet éditorial vient compléter le précédent billet dans lequel les éditeurs de The Lancet Digital Health faisaient un bilan sans concession de 5 années de publications scientifiques sur l'IA. (https://telemedaction.org/422885857/5-ans-de-sant-num-rique-au-lancet)

5 juillet 2024