La nouvelle génération des AI agentiques : amis ou ennemis pour les professionnels de santé ?

Les IA agentiques « traditionnelles » exécutent des workflows prévus à l'avance, alors que la nouvelle génération planifie, choisit ses outils et agit de façon autonome sur la durée. Appliquée à la santé,, une telle évolution se caractérise par le passage de « l'aide à la décision » des IA agentiques traditionnelles à celui de « la délégation d'actions » à une IA agentique devenue autonome.

Une telle évolution déplace les enjeux réglementaires actuels (AI Act) et de façon plus générale la responsabilité des professionnels de santé qui auraient à utiliser cette nouvelle génération d'IA agentique.

Une équipe de chercheurs chinois vient de publier dans The Lancet Digital Health une mise au point intéressante de cette évolution, article que nous rapportons in extenso dans ce billet.

Autonomous agentic artificial intelligence systems inhealthcare: friend or foe?Qin Y, Zeng D, Ma W, Ge Z, Tham YC, Shah NH, Eils R, Wong TY. Lancet Digit Health. 2026 Aug 29:101073. doi: 10.1016/j.landig.2026.101073. Online ahead of print.PMID: 42665468

Les IA agentiques en pratique clinique

Les systèmes d'intelligence artificielle (IA) agentiques s'intègrent à la pratique clinique à un rythme qui dépasse celui des cadres de gouvernance existants. Les progrès récents ont conduit à l'émergence de systèmes d'IA agentiques autonomes (AAAS pour Autonomous Agentic AI Systems), tels qu'OpenClaw, ZeroClaw, Hermes et MIRA, dont les capacités dépassent celles des systèmes d'IA agentiques traditionnels.

Comparés aux chatbots basés sur de grands modèles de langage (par exemple, ChatGPT et Qwen), limités à la production de résultats textuels ou visuels, et aux systèmes d'IA agentiques traditionnelles (par exemple, AutoGPT et autres prototypes de recherche), contraints par des flux de travail spécifiques à chaque tâche et une logique fragmentée, les AAAS présentent plusieurs caractéristiques distinctives : une autonomie multitâche avec une exécution stable et indépendante au niveau du système,  une mémoire persistante, conservant l'historique complet d'utilisation et une intégration transparente avec les plateformes de messagerie courantes (par exemple, WhatsApp, Slack et Telegram). Des compétences modulaires étendent encore les capacités des AAAS sans nécessiter d'expertise en programmation. Dans cet article, nous soulignons le potentiel transformateur des AAAS en médecine, identifions leurs risques spécifiques et proposons un cadre de gouvernance pour leur déploiement sécurisé.

Un modèle qui intègre la triple mission de la médecine universitaire

Les systèmes d'intelligence artificielle à accès multiple (AAAS) présentent un potentiel d'utilisation dans l'ensemble du spectre médical (communément appelé la triple mission de la médecine universitaire) : soins cliniques, formation médicale et recherche biomédicale.

En combinant l'utilisation d'outils, la mémoire persistante et l'orchestration de flux de travail en plusieurs étapes, ces systèmes peuvent exécuter des tâches complexes avec une intervention humaine minimale. De telles capacités peuvent contribuer à relever des défis de longue date dans le domaine de la santé, où l'adoption de l'IA a souvent été limitée par la fragmentation des systèmes et la complexité des flux de travail cliniques. Les principales différences entre les modèles de langage (LLM), les systèmes d'IA à agents traditionnels et les AAAS ont été résumés dans la figure ci-dessous.

Leur usage en pratique clinique

En pratique clinique, les assistants en communication assistée par ordinateur (AAAS) peuvent coordonner les flux de travail en connectant les systèmes numériques fragmentés, et en automatisant les tâches administratives courantes. Au-delà de la simple assistance conversationnelle, ces agents peuvent extraire des informations sur les patients, synthétiser les dossiers, organiser la documentation clinique, coordonner les rendez-vous et contribuer au suivi longitudinal des patients. Ces agents s'apparentent alors à une équipe d'assistants au service des cliniciens, ce qui pourrait alléger la charge administrative et leur permettre de se consacrer davantage aux soins des patients.

Leur usage pour la formation médicale

En formation médicale, les systèmes d'aide à l'apprentissage individualisés (AAAS) offrent un soutien pédagogique qui va bien au-delà des chatbots de tutorat classiques. En conservant en mémoire la progression, les points forts et les points faibles des apprenants, ces systèmes peuvent adapter les contenus pédagogiques, planifier les activités d'apprentissage et orienter les parcours de formation à long terme. Plutôt que de répondre passivement aux questions, les AAAS orchestrent activement le processus d'apprentissage, s'adaptant aux performances de l'utilisateur et guidant les études longitudinales.

Leur usage dans la recherche biomédicale

En recherche biomédicale, les AAAS peuvent fournir aux cliniciens une équipe de recherche virtuelle. Contrairement aux systèmes d'IA actuels dédiés à la recherche, généralement conçus pour des domaines spécifiques, les AAAS exploitent des compétences extensibles pour faciliter la recherche interdisciplinaire en intégrant dynamiquement divers flux de travail et outils.

En réduisant les obstacles techniques, les AAAS élargissent la participation à la découverte pilotée par l'IA, permettant aux cliniciens de s'impliquer plus directement dans le développement, la validation et le déploiement de modèles cliniquement pertinents. Collectivement, ces développements suggèrent une transition de l'IA en tant que source de production de connaissances vers une IA en tant qu'acteur actif des processus de soins.

Les risques des AAAS

Malgré les avantages et le potentiel considérable des systèmes d'aide à la décision clinique (AAAS), leur intégration en médecine introduit de nouveaux risques cliniques, techniques et réglementaires. Ces risques découlent de la capacité des AAAS à planifier et exécuter de manière autonome des actions en plusieurs étapes, à fonctionner avec une mémoire persistante, et à interagir directement avec des systèmes externes et les flux de travail cliniques.

Les risques cliniques des AAAS

Contrairement aux systèmes d'apprentissage automatique traditionnels qui produisent des résultats soumis à une relecture humaine, les systèmes d'aide à la décision clinique (AAAS) peuvent interagir directement avec les logiciels et les outils externes. Les erreurs, les attaques par injection de requêtes, les plugins malveillants ou les actions non intentionnelles peuvent se propager dans les dossiers médicaux électroniques, les plateformes de communication et l'ensemble de l'infrastructure de santé. Ces systèmes étant capables d'exécuter des actions et non de simplement les suggérer, les conséquences des défaillances peuvent être amplifiées.

Les décisions cliniques reposent sur l'intégrité des dossiers médicaux et la fiabilité des flux de travail des soins. Les systèmes automatisés d'aide à la décision (AAAS) qui modifient les dossiers, déclenchent des actions en aval ou coordonnent les processus cliniques peuvent introduire des erreurs qui passent inaperçues jusqu'à ce qu'un préjudice survienne pour le patient. De plus, l'automatisation croissante pourrait engendrer une forme de complaisance, les cliniciens devenant trop dépendants des performances du système et moins vigilants quant au suivi des résultats. Déterminer les responsabilités en cas de défaillance pourrait devenir de plus en plus complexe, impliquant cliniciens, établissements, développeurs et fournisseurs de plateformes.

Les risques réglementaires des AAAS

La plupart des approches réglementaires actuelles ont été conçues pour des outils d'aide à la décision fournissant des recommandations, et non pour des systèmes capables d'agir de manière autonome. Les AAAS brouillent les frontières traditionnelles entre logiciels, dispositifs médicaux et personnel clinique. Des difficultés supplémentaires apparaissent lorsque ces acteurs combinent exécution locale et services cloud, créant une incertitude quant à la gouvernance des données, la conformité réglementaire et la protection de la vie privée.

Garantir la sécurité des patients, l’intégrité des données et une surveillance adéquate exige de prendre en compte les multiples dimensions des risques susmentionnés. À partir des cadres existants, un cadre pour les AAAS peut être conceptualisé selon trois dimensions complémentaires : les garanties techniques, la gouvernance du personnel et la surveillance réglementaire.

La garantie technique

Premièrement, avant tout déploiement, les systèmes d'aide à l'utilisation (AAAS) doivent faire l'objet d'une évaluation systématique, comprenant des tests préalables, des exercices d'intrusion, des tests de charge et des analyses comparatives. Il est important de noter que cette évaluation doit s'étendre au-delà de la précision du modèle pour inclure les performances du système, telles que la fiabilité du choix des outils, la cohérence de la mémoire, la stabilité du raisonnement multi-étapes et la sécurité des interactions avec les systèmes logiciels externes.

Deuxièmement, le contrôle d'accès basé sur les rôles, les environnements isolés, la journalisation des audits, la détection des anomalies et la surveillance continue doivent être intégrés aux cadres de déploiement.

Troisièmement, les compétences ne doivent être déployées qu'après une validation rigoureuse par environnement isolé, analyse statique du code et examen par des pairs experts, afin de garantir la sécurité et la fiabilité. De plus, tout accès ou traitement de données doit être effectué après dépersonnalisation et vérification du chiffrement, et des journaux d'audit complets avec des sauvegardes versionnées qui doivent être conservées pour permettre la détection et la restauration des modifications malveillantes ou erronées.

La garantie humaine

Une garantie essentielle réside dans la supervision humaine, qui exige que les cliniciens supervisent et valident les opérations à haut risque, notamment celles qui modifient les dossiers des patients ou déclenchent des interventions ultérieures. Les systèmes d'automatisation (AAAS) doivent fonctionner comme des collaborateurs d'assistance plutôt que comme des décideurs cliniques indépendants.

Les cliniciens doivent conserver l'autorité sur les décisions à haut risque et pouvoir intervenir, suspendre ou interrompre les actions des agents si nécessaire, tandis que les AAAS peuvent fonctionner de manière autonome pour les décisions à faible risque et les étapes intermédiaires des processus décisionnels.

Des programmes structurés de formation sont également nécessaires pour garantir que les professionnels de santé comprennent les capacités et les limites de ces systèmes afin d'éviter toute complaisance face à l'automatisation.

Des comités de gouvernance institutionnels, composés de cliniciens, d'informaticiens, d'éthiciens, d'experts en cybersécurité et de juristes, pourraient assurer une supervision multidisciplinaire tout au long du cycle de déploiement. Ces comités peuvent évaluer les cas d'utilisation proposés, surveiller les résultats en matière de sécurité, examiner les événements indésirables et déterminer si certaines fonctions autonomes restent appropriées à un usage clinique.

La garantie réglementaire

La réglementation devrait définir explicitement le champ d'autonomie autorisé, les exigences de supervision et les limites de responsabilité associées aux agents cliniques autonomes. Au-delà de l'évaluation au niveau du modèle, les normes de conformité doivent être étendues aux opérations au niveau du système, incluant la vérification continue de la sécurité, la traçabilité et l'audibilité afin de garantir que les actions autonomes soient sûres, responsables et entièrement documentées.

Les autorités réglementaires pourraient également exiger une re certification périodique lorsque les agents autonomes font l'objet de mises à jour majeures, acquièrent de nouvelles compétences ou développent des capacités émergentes dépassant leur champ d'application initialement approuvé. Des processus de certification pourraient également être nécessaires pour les outils et compétences tiers auxquels les AAAS ont accès.

Conclusions

Les systèmes d'IA autonomes (AAAS) représentent une étape potentiellement transformatrice dans l'évolution de l'IA, passant des chatbots passifs de type LLM aux systèmes d'IA agentiques traditionnels et, désormais, aux systèmes d'IA agentiques indépendants, autonomes et capables d'exécuter des tâches.

Les AAAS permettent aux cliniciens, aux enseignants et aux chercheurs d'accéder à des flux de travail sophistiqués sans nécessiter d'expertise informatique avancée ni de compétences en programmation. Cependant, la capacité des AAAS à agir indépendamment introduit des risques fondamentalement différents de ceux associés aux modèles d'IA conventionnels.

Le principal défi n'est plus de savoir si l'IA peut générer des connaissances médicales, mais plutôt si l'on peut faire confiance aux AAAS pour fonctionner de manière sûre, transparente et responsable au sein des systèmes de santé.

Pour atteindre cet objectif, un cadre global intégrant des garanties techniques, une supervision humaine et des normes réglementaires actualisées est essentiel. En combinant un accès contrôlé au système, des compétences validées, une formation structurée pour les cliniciens et une certification formelle, ainsi que des directives réglementaires, les établissements de santé peuvent exploiter la nouvelle génération des AAAS tout en minimisant les risques, en garantissant la sécurité des patients et en préservant la confiance dans la prise de décision clinique.

COMMENTAIRES.

Le titre de cet article remarquable posait la question de savoir si cette nouvelle génération d'IA agentiques représentait des amis ou des ennemis pour les professionnels de santé. La réponse dépend de la maitrise par l'intelligence humaine de ces nouveaux moyens de plus en plus autonomes. Il est étonnant de constater que l'esprit de cet article écrit par des chercheurs chinois en IA rejoint l'esprit de l'AI Act européen. Les auteurs chinois réclament un cadre réglementaire renforcé comme le fait en Europe l'AI Act.

Il existe indiscutablement des bénéfices potentiels des AAAS : allègement de la charge administrative pour les soignants, meilleure coordination interprofessionnelle (CPTS, MSP), priorisation des alertes en télésurveillance, gain de temps médical, etc.

Mais il existe aussi des risques bien identifiés. Un agent multi-outils comme l'AAAS cumule plusieurs finalités possibles. Il faut donc borner et documenter la finalité, sous peine de dérives vers un usage médical non encore évalué. Une AAAS peut enchaîner des actions fausses sans s'arrêter, par exemple prescrire un bilan ou modifier un rendez-vous médical sur une fausse interprétation des données. Il y a de plus un risque de fuite de données sensibles, de ré-identification du patient ou d'usage hors cadre. L'AAAS peut créer des biais et des hallucinations sous forme de recommandations qui paraissent plausibles, mais qui sont en fait non fondées scientifiquement si l'AAAS a été entrainée sur des données non représentatives.

La qualification du risque dépend in fine de la finalité déclarée par le fabricant ou le développeur, pas de la technologie. Un agent de type AAAS est un dispositif médical (DM), logiciel destiné à un usage médical. Il est classé IIa ou plus et devient alors un système d'IA à haut risque pour l'AI Act lorsqu'il peut intervenir dans les décisions médicales de façon autonome. L'article 6 de l'AI Act précise que l'IA est à haut risque si sa finalité est de formuler ou d'influencer des décisions médicales.

Devant la rapidité de l'évolution technologique en matière d'IA, le règlement 2026/1744 (Digital Omnibus) est entré en vigueur le 27 juillet 2026. Il reporte l'annexe III (qui définit les 8 domaines critiques de l'IA) au 2 décembre 2027 et l'annexe I (qui dresse la liste des législations d'harmonisation de l'UE relatives à la sécurités des produits), et qui concerne la classification des risques des DM, au 2 août 2028. Ce délai est nécessaire pour que les développeurs d'AAAS clarifient les finalités médicales des systèmes qu'ils proposent. Il faut aussi clarifier les responsabilités, actuellement floues, en cas de préjudice pour un patient, voire pour un établissement de santé. D'où la prudence recommandée par l'AI Act avant la mise en production d'une AAAS.

21 septembre 2026