Chapitre 2 — Intelligence artificielle en santé · Topic 3 : Applications et enjeux · Leçon 3.2
Ce qui rend l’IA médicale utile — apprendre à partir de données — est aussi la source de ses limites : si les données sont biaisées, le modèle l’est ; si les décisions ne sont pas explicables, difficile de leur accorder confiance ; si l’algorithme se trompe, il faut savoir qui répond devant le patient et devant le juge. Cette leçon fait le tour des limites techniques (biais, boîte noire, hallucinations) et du cadre éthique et juridique qui structure l’IA en santé en 2025-2026.
🎯 Objectifs pédagogiques
- Décrire les principaux biais des systèmes d’IA médicale ;
- Définir la boîte noire et l’explicabilité (XAI) ;
- Comprendre ce qu’est une hallucination d’un LLM ;
- Identifier les trois niveaux de responsabilité (médecin, éditeur, plateforme) ;
- Situer l’AI Act européen (2024) et son articulation avec le RGPD, le marquage CE et le rôle de la HAS.
🧭 Plan de la leçon
- Biais des données et question de représentativité
- Boîte noire et explicabilité (XAI)
- Hallucinations des modèles génératifs
- Responsabilité — médecin, éditeur, plateforme
- Cadre réglementaire — AI Act, RGPD, marquage CE, dispositifs médicaux logiciels
- Impact sur le soignant et la relation de soin
1. Biais des données et question de représentativité
Un modèle d’apprentissage automatique apprend ce qu’on lui montre. Si le jeu d’entraînement est déséquilibré, les prédictions le seront aussi. C’est la limite la plus commentée dans la littérature — et la plus documentée cliniquement.
- Biais de sélection — la population d’entraînement n’est pas représentative de la population cible. Exemple historique : un algorithme de dépistage du mélanome performant sur photos de peaux claires chute sur peaux foncées, faute d’exemples suffisants (publications multiples, dont Adamson & Smith, JAMA Dermatol. 2018).
- Biais de mesure — les données du DPI reflètent des pratiques, pas la réalité biologique. Une pathologie moins diagnostiquée dans un groupe sera moins prédite pour ce groupe.
- Biais d’automatisation — le clinicien tend à sur-suivre la suggestion de la machine (« automation bias »). Traité par le concept de human-in-the-loop.
Publié dans Science, ce travail montre qu’un algorithme largement utilisé aux États-Unis pour orienter les patients vers un programme de gestion des maladies chroniques sous-estimait systématiquement les besoins des patients afro-américains. Motif : il utilisait comme proxy les dépenses de santé passées, qui sont plus faibles pour un même niveau de morbidité chez les Afro-américains (accès aux soins inégal). Corriger le proxy a réduit le biais de plus de moitié.
Source : Obermeyer Z. et al., Science 366 : 447-453 (2019).
2. Boîte noire et explicabilité (XAI)
Contrairement à l’IA symbolique — qui donne « toutes les actions réalisées pour aboutir à sa proposition » (formulation du cours) — un réseau de neurones profond produit une prédiction quantifiée sans arbre de raisonnement explicite. On parle de boîte noire. La discipline qui cherche à ouvrir cette boîte s’appelle l’eXplainable AI (XAI) et pose trois questions :
- Quelle partie de l’entrée (image, données, variables) a conduit à la prédiction ? — outils : saillance, Grad-CAM, perturbations adversariales.
- Quelles règles de décision ont été apprises par le modèle ? — extraction d’arbres approchés, LIME, SHAP.
- Quels exemples du jeu d’entraînement ont influencé la prédiction ? — influence functions.
Une carte de saillance qui allume les bons pixels ne prouve pas que le raisonnement du modèle correspond à celui d’un radiologue. Elle montre où le modèle a regardé, pas pourquoi il a conclu. Le CCNE et la HAS insistent : l’explicabilité est nécessaire mais pas suffisante pour établir la confiance.
3. Hallucinations des modèles génératifs
Un LLM (grand modèle de langage) produit ses réponses en prédisant le mot suivant à partir d’une immense masse de textes. Il peut, avec la même assurance grammaticale, énoncer un fait vrai ou un fait plausible mais faux : référence bibliographique inexistante, posologie inventée, indication erronée. On parle d’hallucination.
- Le risque est majoré sur les sujets rares, les données récentes et les demandes précises non couvertes par l’entraînement.
- Il est réduit par des architectures dites RAG (Retrieval-Augmented Generation) qui obligent le modèle à s’appuyer sur des sources indexées.
- Aucune sortie d’un LLM ne doit être considérée comme un acte médical sans relecture humaine.
La Haute Autorité de Santé a publié en 2024 une « Grille d’analyse de la fiabilité des dispositifs médicaux embarquant de l’IA », ainsi qu’un cadre méthodologique pour l’évaluation clinique des DMN à base d’IA. Elle demande : description du jeu de données d’entraînement, mesure de la performance sur population cible, gestion des dérives dans le temps, et — c’est la nouveauté — une réflexion structurée sur l’explicabilité et les biais.
Source : HAS, « Évaluation des dispositifs médicaux numériques embarquant de l’IA » (2024, has-sante.fr).
4. Responsabilité — médecin, éditeur, plateforme
- Responsabilité du médecin — la décision médicale reste au professionnel, qui doit fonder son choix sur les données acquises de la science (article R.4127-32 du Code de la santé publique) et informer le patient de l’usage d’un outil algorithmique (loi de bioéthique du 2 août 2021, article L.4001-3 du CSP).
- Responsabilité de l’éditeur / du fabricant — mise sur le marché conforme, marquage CE, matériovigilance, mises à jour de sécurité. Régime du producteur de dispositif médical défectueux (règlement (UE) 2017/745).
- Responsabilité de la plateforme / de l’établissement — hébergement des données de santé (agrément HDS), sécurité informatique, formation des utilisateurs, gouvernance de l’IA. Rôle de l’ANS pour les référentiels, de la CNIL pour la conformité RGPD.
La loi française du 2 août 2021 relative à la bioéthique a introduit un principe explicite pour les traitements algorithmiques médicaux : garantie humaine. Un professionnel de santé doit être en mesure de contrôler la décision algorithmique et le patient doit en être informé. Ce principe est repris dans les avis du CCNE (Comité Consultatif National d’Éthique) et dans le cadre européen (AI Act, article 14 sur la « supervision humaine »).
5. Cadre réglementaire — AI Act, RGPD, marquage CE
- RGPD (règlement (UE) 2016/679, applicable depuis 2018) — protège les données personnelles, avec un régime renforcé pour les données de santé (art. 9). CNIL en France.
- Règlement européen sur les dispositifs médicaux (MDR, (UE) 2017/745) — un logiciel à finalité médicale est un dispositif médical et doit porter un marquage CE. Les IA d’aide au diagnostic sont typiquement classées IIa ou IIb.
- AI Act européen — règlement (UE) 2024/1689 adopté en 2024, entrée en application échelonnée jusqu’en 2027. Approche par le risque : interdiction de certaines pratiques (notation sociale, manipulation), régime lourd pour l’IA à haut risque (dont dispositifs médicaux IA), obligations de transparence pour les IA génératives, sanctions dissuasives.
- Un logiciel de dispositif médical embarquant de l’IA est presque toujours classé « haut risque » ;
- Obligations : système de gestion des risques, gouvernance des données, documentation technique, traçabilité, transparence, supervision humaine, robustesse et cybersécurité ;
- Les IA génératives (LLM) doivent signaler le contenu généré et respecter le droit d’auteur des données d’entraînement ;
- Autorité compétente en France : la CNIL pour le volet données, l’ANSM pour la matériovigilance des DMN, la HAS pour l’évaluation clinique et le remboursement.
Source : Commission européenne, Règlement (UE) 2024/1689 sur l’intelligence artificielle (Journal officiel de l’UE, juillet 2024).
| Sigle | Structure | Rôle |
|---|---|---|
| CNIL | Commission Nationale de l’Informatique et des Libertés | Protection des données personnelles, application du RGPD |
| ANS | Agence du Numérique en Santé | Pilote la e-santé, référentiels (INS, CI-SIS), Mon Espace Santé |
| ANSM | Agence Nationale de Sécurité du Médicament | Autorisation de mise sur le marché, matériovigilance (incluant DMN) |
| HAS | Haute Autorité de Santé | Recommandations, évaluation clinique, avis de remboursement |
| CCNE | Comité Consultatif National d’Éthique | Avis éthiques (dont IA en santé — avis 129, 2018) |
| EMA | European Medicines Agency | Médicaments à l’échelle européenne (rôle marginal côté IA / DMN) |
6. Impact sur le soignant et la relation de soin
- Aide, pas remplacement — la formule des experts (Krittanawong, 2018 et suivants) est constante : « un médecin utilisant l’IA remplacera un médecin ne l’utilisant pas, mais l’IA ne remplacera pas le médecin ».
- Nouvelles compétences — lire un score algorithmique, interroger la performance sur sa population, connaître ses limites (littératie IA).
- Relation patient — le patient doit être informé de l’usage d’un outil algorithmique (art. L.4001-3 CSP) ; il conserve un droit d’opposition et un droit d’accès aux explications.
- Éthique professionnelle — le CCNE et l’IEEE (initiative Ethically Aligned Design) recommandent transparence, équité, responsabilité, respect de la vie privée, bienfaisance.
- CNIL — dossier « IA : comment être en conformité avec le RGPD » (cnil.fr, mis à jour 2024) ; recommandations sur la constitution de jeux de données d’entraînement.
- Lancet Digital Health et Nature Medicine — revues de référence pour lire les études cliniques d’IA médicale à niveau académique.
🧠 À retenir absolument
- Biais : sélection, mesure, automatisation. Cas Obermeyer 2019, biais racial via proxy « dépenses de santé ».
- Boîte noire : un CNN produit une prédiction sans raisonnement explicite. La XAI tente de l’ouvrir (Grad-CAM, LIME, SHAP).
- Hallucination : un LLM peut énoncer une fausseté avec assurance. Jamais d’acte sans relecture humaine.
- Responsabilité : médecin (décision), éditeur (dispositif), plateforme (données). Garantie humaine (loi bioéthique 2021).
- Trois textes : RGPD (données), MDR / marquage CE (DM logiciel), AI Act (2024, approche par risque, IA médicale = haut risque).
- Acronymes à ne pas confondre : CNIL / ANS / ANSM / HAS / CCNE / EMA.
- Ligne CCNE / HAS : aide, transparence, supervision humaine — l’IA ne remplace pas le médecin.
❓ Questions fréquentes
Peut-on interdire un algorithme après sa mise sur le marché ?
Oui. Comme pour tout dispositif médical, l’ANSM peut suspendre ou retirer un DMN en cas d’incident de matériovigilance. La CNIL peut ordonner l’arrêt d’un traitement de données non conforme au RGPD. L’AI Act ajoute des sanctions financières lourdes (jusqu’à 7 % du chiffre d’affaires mondial) et la possibilité d’ordonner le retrait d’un système d’IA à haut risque non conforme. Le retrait de plusieurs modules d’aide au diagnostic dermatologique après études indépendantes en est un exemple récent.
Qu’appelle-t-on exactement « garantie humaine » ?
C’est le principe, inscrit à l’article L.4001-3 du CSP par la loi de bioéthique du 2 août 2021, selon lequel un professionnel de santé doit pouvoir contrôler la décision algorithmique et le patient doit être informé de son usage. Le CCNE (avis 129, 2018) parlait déjà de ce principe. Il est aussi présent, sous d’autres mots, à l’article 14 de l’AI Act sur la « supervision humaine ». Concrètement : pas d’IA « en aveugle », toujours un professionnel qui valide et un patient qui peut s’opposer.
Un LLM comme ChatGPT peut-il servir en consultation ?
Uniquement pour des tâches d’assistance (résumé, brouillon de courrier, recherche bibliographique) et avec toutes les précautions RGPD (pas de données identifiantes de patient sans base légale et sans convention). Comme outil médical, il faudrait un LLM certifié CE, évalué cliniquement — ce qui n’est pas le cas des LLM grand public. La CNIL a rappelé plusieurs fois en 2023-2024 que verser des données de patient dans un LLM public constitue une violation du RGPD.
Comment repère-t-on un algorithme biaisé ?
Trois étapes : (i) mesurer la performance par sous-groupes (sexe, âge, origine, comorbidités) et non seulement en moyenne ; (ii) vérifier la représentativité du jeu d’entraînement par rapport à la population cible ; (iii) suivre les performances dans le temps (dérive). La HAS et la CNIL demandent ces éléments dans leurs référentiels. Une étude majeure — Adamson & Smith, JAMA Dermatol. 2018 — avait alerté sur la sous-représentation des peaux foncées dans les modèles de dépistage du mélanome.
L’IA générative va-t-elle « déqualifier » les médecins ?
C’est un débat réel, alimenté par des travaux comme ceux de la Cleveland Clinic (2023-2024) sur la baisse d’attention endoscopique après quelques mois d’usage d’une IA de détection de polypes. La réponse retenue par le CCNE et la HAS n’est pas d’interdire, mais de maintenir des périodes régulières sans assistance, d’intégrer la littératie algorithmique dans la formation initiale (dont le PASS et la LAS) et de ne jamais déléguer la décision médicale finale — l’humain reste responsable.
🚀 Pour aller plus loin
Contenu pédagogique original — Réussir SVT. L’équipe Réussir SVT.