Quand l’IA fait science

Produire plus, savoir mieux ? Hallucinations, publications et chaîne de preuve en santé Lionel Reichardt — Pharmageek • Édition longue • 4 octobre 2026

La science publie davantage. Comment préserver sa capacité à vérifier ?

Avant d’interroger les hallucinations de l’IA, il faut regarder le système dans lequel elles peuvent circuler. Selon les Science & Engineering Indicators 2026 de la National Science Foundation américaine, le volume mondial annuel de publications en sciences et ingénierie est passé de 2,19 millions en 2014 à 3,53 millions en 2024 : une hausse de 60,7 % en dix ans. Dans cette même série, l’augmentation atteint 7,3 % entre 2023 et 2024. Ces chiffres portent sur les publications de revues et d’actes de conférences sélectionnés dans Scopus ; ils ne constituent pas un recensement exhaustif de tous les écrits scientifiques. [A] Cette croissance précède largement l’IA générative. Hanson et ses collègues documentaient déjà une augmentation d’environ 47 % entre 2016 et 2022, dans un autre périmètre bibliométrique. [B] Plus récemment, The Drain of Scientific Publishing examine les tensions que cette expansion fait peser sur le temps des chercheurs, les ressources financières, la confiance et le contrôle de la communauté scientifique. [C] L’IA entre donc dans un système déjà soumis à une forte pression de production. Elle peut faciliter l’écriture, l’analyse et l’exploration d’hypothèses. La capacité à produire doit cependant être évaluée avec la capacité à vérifier : existence des sources, solidité des résultats, reproductibilité et pertinence pour la décision. Les chiffres de volume, à eux seuls, ne démontrent ni une dégradation de la qualité ni un effet causal des LLM. Ils donnent le contexte de cette édition : à quelles conditions une production scientifique accélérée devient-elle une connaissance fiable — puis, en santé, une preuve utilisable pour soigner ? L’IA peut accélérer la rédaction d’un article. Elle ne réduit pas mécaniquement le temps nécessaire pour établir qu’il est juste. Entre la vitesse de production et la capacité de vérification, un déséquilibre se dessine. Une référence peut afficher des auteurs connus, un titre précis et une revue prestigieuse, tout en désignant une étude inexistante. Même un DOI qui fonctionne peut conduire à un autre article que celui annoncé. L’apparence de la preuve ne suffit donc pas : il faut en vérifier l’identité, le contenu et la portée. Ce problème dépasse aujourd’hui les réponses d’un chatbot. Des références fictives sont présentes dans des articles scientifiques publiés. Dans le même temps, l’IA contribue à prédire des structures moléculaires, à proposer des hypothèses biomédicales et à explorer la littérature. Elle entre aussi dans la rédaction, la relecture et l’évaluation de la recherche. Ces évolutions demandent à être examinées ensemble. En santé, nous utilisons des connaissances produites par des chercheurs, sélectionnées par des revues, synthétisées par des experts et interprétées dans une situation clinique. À chacune de ces étapes, une IA peut apporter une aide. À chacune, il faut pouvoir établir ce que son résultat permet réellement de conclure.

La question qui traverse cette édition est celle de la preuve : comment préserver sa qualité lorsque l’IA participe à sa production, à sa circulation et à son interprétation ?

Le paradoxe mérite une formulation précise. L’IA peut accélérer certaines étapes de la recherche sans augmenter au même rythme les capacités d’expérimentation, de relecture et de réplication. Produire davantage de textes, formuler davantage d’hypothèses et établir davantage de connaissances sont trois résultats différents. Le risque que je propose d’examiner est celui d’un déséquilibre entre production et validation. Les sources disponibles ne permettent pas de conclure à une croissance exponentielle universelle ni à une dégradation globale de la science.

1. Les avancées scientifiques méritent une évaluation précise

Parler de « l’IA dans la science » recouvre des systèmes très différents. Un modèle de prédiction moléculaire, un assistant de recherche bibliographique et un agent qui écrit du code n’ont ni les mêmes objectifs, ni les mêmes données d’entrée, ni les mêmes modes d’échec. Les réunir sous un indicateur général de performance rendrait l’analyse peu utile. AlphaFold 3 illustre une avancée spécialisée. Publié dans Nature en 2024, le modèle prédit des structures de complexes associant protéines, acides nucléiques, petites molécules et autres composants. Les auteurs rapportent des améliorations sur plusieurs tâches de prédiction d’interactions biomoléculaires. Ils décrivent également un risque de structures plausibles dans des régions désordonnées et les méthodes utilisées pour le réduire. [1] Une structure prédite peut aider à choisir une expérience ou à explorer un mécanisme. Elle ne démontre pas, à elle seule, qu’une molécule sera efficace, tolérée et utile chez un patient. Cette différence est indispensable pour comprendre la valeur d’un résultat et les étapes qui restent à franchir. L’étude Co-Scientist, publiée dans Nature en 2026, rapproche génération d’hypothèses et vérification expérimentale. Ce système multiagents propose, critique et affine des pistes de recherche. Les auteurs rapportent notamment des candidats au repositionnement de médicaments et des associations pour la leucémie aiguë myéloïde validés par des expériences in vitro. Ce sont des résultats précliniques, pas une démonstration d’efficacité chez les patients. [2] Ce qui rend ces travaux intéressants est la présence d’un contrôle extérieur à la génération du texte : une mesure, une expérience ou une comparaison à des données de référence. Pour apprécier une promesse d’accélération, je propose de regarder d’abord cette étape. Que produit le système ? Qui vérifie ce résultat ? Et quelle décision cette vérification autorise-t-elle ?

2. Un article généré automatiquement reste un objet à examiner

Les agents scientifiques ajoutent une autre dimension : ils peuvent enchaîner recherche documentaire, formulation d’hypothèses, programmation, exécution d’expériences numériques et rédaction. Le travail Towards end-to-end automation of AI research, publié dans Nature en 2026, décrit cette approche avec The AI Scientist. Les éléments de l’étude précisent qu’une seule des trois soumissions a été acceptée dans un atelier associé à ICLR. Il faut distinguer ce manuscrit généré de la publication humaine qui décrit et évalue le système, ainsi que l’atelier de la conférence principale. Le domaine étudié est l’apprentissage automatique. [3] Cette démonstration mérite l’attention. Elle ne permet pas d’affirmer qu’un agent sait conduire de manière autonome tout type de recherche, notamment clinique. Pour un laboratoire, l’enjeu devient très concret : conserver les données réellement utilisées, le code exécuté, les versions des outils, les résultats négatifs et les interventions humaines. Un manuscrit bien rédigé ne permet pas, à lui seul, de reconstituer ce parcours. Je recommande donc de traiter l’automatisation d’une recherche comme un processus à auditer. La question du nombre de papiers produits doit venir après celle de la qualité des expériences, de la possibilité de les reproduire et de la contribution des résultats aux connaissances existantes.

3. Davantage de publications ne suffit pas à mesurer le progrès

L’IA peut réduire certains obstacles à la rédaction, à la programmation ou à l’accès à des travaux éloignés de sa spécialité. Pour apprécier l’effet sur la science, il faut cependant choisir avec soin ce que l’on mesure. Kusumegi et ses collègues, dans Science en décembre 2025, rapportent une augmentation de production chez les chercheurs dont les manuscrits sont détectés comme assistés par LLM, ainsi qu’une diversification des références. Ils examinent également le changement de relation entre sophistication rédactionnelle et publication ultérieure. Cette dernière sert d’indicateur indirect de qualité. [4] Ces résultats ont reçu une critique méthodologique importante. Renault, Bergeaud et Bosquet montrent que dater l’adoption au premier article détecté relie mécaniquement cette date au volume de production. Leurs simulations et tests placebo font apparaître une hausse sans effet causal de l’IA. Leur contre-analyse conteste l’identification du gain ; elle ne démontre pas que l’IA serait incapable d’améliorer la productivité. [5] Cette controverse a toute sa place dans une newsletter sur la fiabilité. Une étude peut être réelle, publiée dans une revue prestigieuse et porteuse d’une conclusion qui doit encore être discutée. Une autre analyse, celle de Hao et ses collègues dans Nature en 2026, associe l’usage d’outils d’IA à davantage de publications et de citations pour les chercheurs, tout en observant un resserrement du champ collectif d’exploration. Il s’agit d’une analyse observationnelle portant sur l’IA au sens large : elle ne permet pas d’attribuer directement ces évolutions à ChatGPT. [6] Pour les institutions, ces travaux invitent à évaluer plusieurs dimensions séparément : le volume produit, le temps consacré, la solidité des résultats et les nouvelles questions rendues accessibles. Un laboratoire pourrait publier plus vite tout en restant concentré sur les mêmes problèmes. Il pourrait aussi publier moins et réaliser une avancée majeure. Le nombre d’articles ne permet pas de trancher entre ces situations.

Des heures économisées, mais des goulots d’étranglement déplacés

Le rapport de recherche AI in Science: Early Insights, publié en septembre 2026 par une équipe associant notamment Google, Google DeepMind et MIT FutureTech, apporte un indicateur de temps. L’enquête auprès de 637 chercheurs actifs aux États-Unis et au Royaume-Uni rapporte près de sept heures économisées par semaine. Il s’agit d’un gain déclaré, pas d’un effet mesuré par assignation aléatoire. L’échantillon ne représente pas automatiquement l’ensemble des chercheurs. Le rapport relève aussi un stock d’hypothèses non testées et une demande importante de vérification des résultats de l’IA. [18] Le déplacement du travail est aussi important que son accélération. Une hypothèse peut désormais être proposée en quelques secondes ; les échantillons, le recrutement de participants, les expériences et les arbitrages scientifiques restent soumis à des contraintes matérielles et humaines. La démocratisation de la rédaction mérite donc d’être accompagnée par des moyens de validation.

Une pression éditoriale documentée, à son échelle

Dans Organization Science, Gartenberg et ses collègues rapportent une hausse de 42 % des soumissions depuis l’arrivée de ChatGPT. Leur analyse couvre les soumissions et les évaluations d’une revue de sciences des organisations. Elle mobilise le détecteur Pangram et des mesures de lisibilité : ces indicateurs ne prouvent ni l’usage d’IA dans chaque texte ni la qualité intrinsèque des résultats scientifiques. Les auteurs observent aussi une évolution des relectures vers des textes moins diversifiés dans leurs thèmes. [19] Ce résultat documente une tension éditoriale concrète. Il ne constitue pas une estimation de la hausse mondiale des publications, et son transfert à la biomédecine demanderait une étude spécifique. Les incitations à publier, les règles de carrière et les capacités de sélection participent à cette tension ; l’outil n’en est pas la seule composante. Une décision d’arXiv illustre la réponse opérationnelle. Depuis l’annonce du 31 octobre 2025, les articles de synthèse et les textes de position soumis à la catégorie informatique doivent avoir été acceptés après une évaluation complète par une revue ou une conférence, avec une référence vérifiable. arXiv explique cette évolution par un afflux devenu difficile à modérer, favorisé par les LLM. Il s’agit d’une règle sur des types de textes dans une catégorie, pas d’une interdiction générale des publications utilisant l’IA. [20]

La qualité doit être mesurée selon plusieurs dimensions

L’amélioration d’une dimension ne garantit pas celle des autres. Une rédaction plus claire peut faciliter l’évaluation ; elle peut aussi rendre une conclusion fragile plus convaincante. Le risque de conformisme doit être étudié au niveau des questions explorées et des résultats obtenus. Le seul fait qu’un modèle ait appris sur la littérature passée ne démontre pas qu’il étouffe nécessairement les découvertes de rupture.

4. Les références fictives atteignent la littérature biomédicale publiée

L’audit de Topaz et ses collègues, publié dans The Lancet en mai 2026, apporte un constat à grande échelle. Il examine 2 471 758 articles du sous-ensemble ouvert de PubMed Central, entre janvier 2023 et le 18 février 2026. Les auteurs vérifient 97,1 millions de références portant un identifiant PubMed et classent 4 046 références comme fictives, réparties dans 2 810 articles. [7] Le protocole comporte des limites : les références sans PMID sont exclues, le corpus ne représente pas toute la littérature biomédicale et la validation estime une précision de 91 %, sans mesurer le rappel. L’audit identifie les fabrications, pas leur origine. Les auteurs envisagent l’usage non critique de l’IA, les activités de paper mills et la fraude. Ces explications ne sont pas interchangeables. Pour la santé, le constat appelle un contrôle de l’existence des références avant leur utilisation. Il ne permet pas de déduire un nombre de patients lésés ni de considérer tous les résultats d’un article affecté comme faux. Une référence problématique demande ensuite un examen de son rôle. Soutient-elle une phrase de contexte ou une conclusion essentielle ? La correction suffit-elle ? La validité des résultats dépend-elle d’elle ? Ces questions doivent guider la réponse éditoriale et l’évaluation scientifique.

5. Une source peut exister et être mal interprétée

Vérifier un titre, un DOI ou un PMID est nécessaire. Le contrôle doit se poursuivre dans le contenu. Prenons un exemple hypothétique : un assistant cite correctement une étude menée sur des cellules et écrit que le traitement a démontré son efficacité chez l’humain. La source est réelle. L’affirmation dépasse pourtant ce qu’elle établit. D’autres glissements demandent la même attention : transformer une association en causalité, appliquer un résultat à une population exclue de l’étude, confondre un critère biologique avec une amélioration clinique ou présenter une absence de différence significative comme une équivalence démontrée. Le commentaire When machines misread science, publié dans npj Digital Medicine en 2026, propose notamment des dispositifs pour expliciter les limites d’interprétation des publications par les machines et les humains. Ces propositions doivent encore être évaluées ; elles ne sont pas des standards dont l’efficacité aurait été établie. [8] La chaîne de contrôle que je recommande comporte donc trois questions : la source existe-t-elle ? Soutient-elle l’affirmation ? Cette affirmation est-elle applicable à la décision envisagée ? Cette dernière question exige un jugement contextuel. Une preuve peut être solide dans son cadre et insuffisante pour décider dans un autre. L’ajout de citations ne résout pas automatiquement cette difficulté.

Repères — six phénomènes à distinguer

Les exemples sont hypothétiques. La distinction intrinsèque–extrinsèque porte ici sur la fidélité aux documents fournis, avec ou sans RAG. La fabrication d’une référence inexistante est un cas d’invention ; toute addition non étayée n’est pas une référence fictive. Le terme « confabulation » est parfois proposé pour éviter l’anthropomorphisme d’« hallucination », mais il ne constitue pas une catégorie clinique à appliquer aux machines. Sharma et ses collègues documentent la sycophanie dans plusieurs tâches de génération avec des assistants ajustés à partir de préférences humaines. Ces expériences éclairent un mécanisme ; elles ne mesurent pas un taux de préjudice clinique. [26] Ces distinctions appellent des contrôles différents : fidélité, exhaustivité, confrontation des hypothèses, évaluation par population ou investigation d’intégrité. Un « taux d’hallucination » n’a de sens qu’avec une tâche, une définition de l’erreur et un dénominateur. Il peut désigner une proportion de références, de phrases, de réponses ou de documents. Ces mesures ne se comparent pas directement. Asgari et ses collègues ont étudié la synthèse de consultations dans npj Digital Medicine en mai 2025. Le protocole comprend 18 configurations appliquées à 25 transcriptions simulées, produisant 450 notes. Parmi 12 999 phrases générées, 191 comportent une hallucination, soit 1,47 %. Sur ces hallucinations, 84, environ 44 %, sont classées majeures, susceptibles de modifier le diagnostic ou la prise en charge si elles ne sont pas corrigées. Il s’agit de gravité potentielle ; aucun dommage patient n’est mesuré dans cette expérience. Les auteurs sont liés à Tortus AI, affiliation à prendre en compte dans la lecture. [9] Le taux par phrase et la proportion d’erreurs majeures répondent à deux questions différentes. Une fréquence limitée peut rester préoccupante si l’erreur concerne une information décisive. Il faut aussi distinguer l’ajout d’une information inventée de l’omission d’une information présente. Une note peut contenir uniquement des phrases exactes et rester dangereusement incomplète. La priorité d’évaluation dépend donc de l’usage : pour un compte rendu, l’exhaustivité des informations nécessaires à la continuité des soins doit être examinée avec la fidélité du texte. Pour un établissement, je recommande un protocole qui mesure à la fois la fréquence des erreurs, leur gravité, leur détection par les professionnels et le temps nécessaire pour les corriger. Le pourcentage seul ne décrit pas la sécurité du processus.

7. La recherche documentaire améliore les systèmes sans terminer la vérification

Le retrieval-augmented generation, ou RAG, associe une recherche dans des documents à la génération d’une réponse. Cette architecture donne au système accès à des sources qu’il peut citer et à partir desquelles il peut travailler. OpenScholar, présenté dans Nature en février 2026, utilise un corpus de 45 millions d’articles ouverts et un protocole d’évaluation multidisciplinaire. Les résultats montrent l’intérêt d’un système spécialisé de recherche et de synthèse par rapport à des modèles généralistes dans les tâches étudiées. Ces performances ne constituent pas une garantie pour toute question médicale ou toute décision clinique. [10] Pour l’utilisateur, la bonne interface devrait permettre de retrouver le passage qui soutient chaque affirmation importante. Il faut également savoir quelles publications sont accessibles au système et lesquelles restent hors de son corpus. Je recommande d’évaluer la recherche documentaire et la génération séparément. Un assistant peut manquer une étude pertinente, puis produire une synthèse fidèle des documents qu’il a trouvés. Il peut aussi retrouver la bonne étude et en tirer une conclusion excessive. Ces deux échecs appellent des corrections différentes. Un second modèle peut aider à détecter des problèmes. Son accord ne remplace cependant pas un contrôle indépendant des données ou de la source. Le rôle de l’outil de vérification doit être défini, mesuré et limité à ce qu’il sait effectivement vérifier.

8. La synthèse des preuves engage des choix méthodologiques

Une revue systématique demande de définir une question, chercher les études pertinentes, appliquer des critères d’inclusion, extraire les données et apprécier leurs limites. La rédaction de la synthèse intervient dans ce processus ; elle ne le remplace pas. Rupa Sarkar, rédactrice en chef de Cochrane, rappelle dans une tribune de Nature publiée en mai 2026 que l’organisation teste l’IA pour améliorer l’efficacité de ses revues, tout en jugeant les outils actuels insuffisants pour remplacer toutes les tâches méthodologiques. Cette prise de position est un témoignage expert, pas un essai comparatif mesurant un taux d’erreur. [11] Pour une équipe de recherche, la question utile consiste à identifier les tâches où l’aide est démontrée et celles où un jugement expert reste nécessaire. Le tri initial de documents, l’extraction d’un tableau et l’appréciation du risque de biais ne doivent pas recevoir une autorisation d’usage indistincte. Dans une synthèse destinée à éclairer les soins, je recommande de conserver les critères de sélection, les exclusions, les données extraites et les arbitrages humains. Le lecteur doit pouvoir comprendre comment la conclusion a été obtenue et la contester sur des éléments précis.

9. Les revues et les institutions doivent préserver une responsabilité identifiable

L’utilisation de l’IA en publication touche la responsabilité des auteurs et la confidentialité de l’évaluation. Les recommandations de l’ICMJE prévoient la déclaration des usages pertinents et maintiennent la responsabilité humaine du contenu. Une IA ne satisfait pas les critères de qualité d’auteur. Les règles applicables aux relecteurs comportent aussi des exigences de confidentialité : il faut vérifier la politique de la revue avant de transmettre un manuscrit à un service tiers. [12] Les politiques des éditeurs ne sont pas toutes identiques. Elles distinguent notamment l’aide à la rédaction, les tâches de soutien et le jugement scientifique ; certaines prévoient des exceptions pour la correction linguistique. Présenter une interdiction universelle de tout usage d’IA dans le peer review serait inexact. [13] Pour les équipes éditoriales, je propose de concentrer les contrôles sur des objets vérifiables : existence des références, cohérence des données, provenance des figures, disponibilité des méthodes et réponse des auteurs aux anomalies. Un texte très fluide ne prouve pas sa validité ; un indice de style ne suffit pas à établir une fraude. La déclaration d’un usage d’IA apporte de la transparence. Elle doit être suivie d’un examen de la contribution réelle de l’outil et de la manière dont cette contribution a été vérifiée.

Rétractations : ne pas confondre le sujet d’un article et son mode de fabrication

La revue bibliométrique de Sridharan et Sivaramakrishnan, publiée en janvier 2026, analyse 335 articles rétractés portant sur l’IA. Elle ne constitue pas un corpus de 335 articles fabriqués par une IA. Les éditeurs initient 98,5 % des rétractations recensées. Le délai médian de 47,5 jours concerne la soumission à l’acceptation ; le délai médian entre publication et rétractation est de 550 jours. Sans comparaison adaptée à des articles non rétractés, le premier délai ne démontre pas, à lui seul, une relecture superficielle. [21] Cette distinction évite d’attribuer aux outils génératifs des défaillances dont le protocole n’établit pas l’origine. De même, les « tortured phrases » étudiées par Cabanac et ses collègues dès 2021 signalent des reformulations suspectes, antérieures à ChatGPT. Elles demandent une investigation ; elles ne constituent pas une signature universelle de rédaction par LLM. [25]

10. Quand l’IA évalue la recherche, elle peut aussi modifier les incitations

L’IA intervient désormais dans des réflexions sur l’évaluation de la qualité scientifique, au-delà de la décision d’accepter un manuscrit. Dans son analyse disponible sur arXiv en juin 2025, Mike Thelwall compare les indicateurs produits par des LLM aux indicateurs bibliométriques. Il discute des corrélations avec des jugements humains, mais souligne que ces scores ne mesurent pas directement la qualité intrinsèque d’une recherche. Il examine aussi un risque : si l’évaluation repose fortement sur les résumés, les auteurs pourraient être incités à exagérer leurs contributions pour améliorer leur score. Cette conséquence est une hypothèse systémique argumentée, pas un effet généralisé démontré. [14] Ce point concerne les établissements, les financeurs et les responsables de recherche. Avant d’introduire un score dans une décision, il faut comprendre ce qu’il représente et comment les personnes évaluées pourraient adapter leur comportement. Je recommande de distinguer une aide à l’examen d’un dossier d’un critère qui décide effectivement d’un financement ou d’une carrière. Plus la conséquence est importante, plus les éléments vérifiables, les possibilités de contestation et la responsabilité de la décision doivent être explicites.

La contamination documentaire et le « model collapse » sont deux problèmes distincts

La reprise d’une référence fictive peut compliquer une synthèse ultérieure. Pour démontrer une propagation, il faut cependant retracer les reprises et vérifier leur rôle dans chaque conclusion. Aucun taux universel de diffusion ne peut être déduit de la seule présence d’une erreur. Shumailov et ses collègues montrent dans Nature en 2024 que l’entraînement récursif sur des données générées peut entraîner une perte d’information, notamment dans les parties rares d’une distribution. Ce mécanisme dépend des conditions d’entraînement. Il ne démontre pas que la littérature scientifique aurait déjà subi un effondrement généralisé. [22] Une boucle de contamination reste un scénario à surveiller : un contenu erroné est publié, repris dans des synthèses, puis éventuellement réutilisé pour entraîner un système. Pour établir cette trajectoire, il faut identifier les reprises et les corpus d’entraînement. La circulation documentaire de l’erreur et l’effondrement statistique d’un modèle sont des phénomènes distincts ; le premier ne suffit pas à prouver le second. Les données synthétiques peuvent avoir des usages scientifiques légitimes lorsqu’elles sont identifiées et adaptées à l’objectif. Les présenter comme des observations réelles serait un autre problème, relevant de l’intégrité. Pour un corpus documentaire, conserver la provenance et distinguer observation, simulation et génération permet d’examiner les risques sans les confondre.

11. Le bénéfice pour les patients se mesure dans des études cliniques

Les performances sur des questions médicales ou des cas simulés peuvent orienter la recherche. Le passage à la pratique demande une autre évaluation : celle du système utilisé par des professionnels, avec des patients et dans une organisation réelle. Un essai pragmatique randomisé en grappes, publié dans Nature Medicine en juin 2026, étudie une assistance par LLM dans 16 structures de soins primaires au Kenya. Il inclut 9 691 patients. Le critère principal, un ensemble d’échecs de traitement dans les 14 jours, ne diffère pas significativement entre les groupes. Aucun événement indésirable grave n’est jugé lié à l’intervention. Ces résultats concernent ce système et ce contexte ; ils ne démontrent ni l’inutilité générale des LLM ni leur sécurité universelle. [15] Cette étude rappelle pourquoi les résultats techniques, l’amélioration des processus et les effets sur les patients doivent être mesurés séparément. Pour la décision d’adopter un outil, je propose de définir le bénéfice recherché avant le déploiement. S’agit-il de temps de documentation, d’exhaustivité d’un compte rendu, d’accès à une expertise ou d’amélioration d’un résultat clinique ? Chaque objectif appelle un protocole et des critères adaptés.

12. La supervision humaine doit être organisée pour fonctionner

La présence d’un professionnel dans le processus ne dit pas encore comment il contrôle le résultat. Peut-il accéder à la source ? Dispose-t-il du temps nécessaire ? Sait-il quelles informations vérifier en priorité ? Peut-il refuser une proposition et signaler une anomalie ? L’OMS mentionne le biais d’automatisation parmi les risques associés aux grands modèles multimodaux en santé : les utilisateurs peuvent accorder trop de confiance à une sortie du système. Ses recommandations de 2024 appellent une gouvernance adaptée à ces usages. [16] Je recommande donc une supervision conçue comme une activité de travail, avec un périmètre, des moyens et une responsabilité. Pour un compte rendu, les vérifications prioritaires pourraient porter sur les traitements, les allergies et les décisions prises ; pour une synthèse scientifique, sur les sources, les populations et les critères de jugement. Cette proposition doit être adaptée et testée pour chaque usage. Le gain de temps devrait être mesuré après recherche des sources, relecture et correction. Une tâche achevée plus vite à l’écran peut demander davantage de travail en aval. Inversement, un outil bien conçu peut rendre le contrôle plus facile. La mesure doit permettre de distinguer ces situations.

13. L’OMS élargit la gouvernance à toute la recherche liée à l’IA

Le rapport Artificial intelligence-related health research: ethics review and oversight, publié par l’OMS en juillet 2026 et annoncé en septembre, distingue la recherche de données de santé utilisant l’IA, la recherche conduite avec des outils d’IA et la recherche portant sur ces outils. Sa présentation officielle examine les rôles complémentaires des financeurs, des mécanismes d’accès aux données, des éditeurs et des régulateurs, avec une attention aux inégalités affectant les pays à revenu faible ou intermédiaire. [17] Ce cadre aide à répartir les responsabilités. Une erreur documentaire appelle un contrôle différent d’un problème de données personnelles, d’une évaluation inadaptée à une population ou d’un risque clinique. Pour une organisation, je recommande de préciser qui autorise l’usage, qui vérifie le résultat, qui traite les incidents et qui peut suspendre le système. Ces responsabilités doivent rester compréhensibles pour les utilisateurs et pour les personnes concernées par les décisions.

En France, rendre le contrôle praticable

La HAS propose un repère directement utilisable : A.V.E.C. — Apprendre, Vérifier, Estimer, Communiquer. Ses Premières clefs d’usage de l’IA générative en santé, publiées en octobre 2025 et actualisées en avril 2026, invitent notamment à comprendre les limites, vérifier les contenus et estimer la pertinence de l’usage. Ce document HAS doit être distingué du projet de guide HAS–CNIL soumis à consultation en 2026. [23] La gouvernance suppose aussi de tenir les calendriers à jour. Au 4 octobre 2026, la Commission européenne présente les échéances modifiées du règlement sur l’IA : décembre 2027 pour certains systèmes à haut risque et août 2028 pour ceux intégrés à des produits réglementés. L’applicabilité dépend de la qualification du système et de son usage prévu ; toute utilisation médicale d’un chatbot ne relève pas automatiquement de la même catégorie. [24]

14. Ce que je propose de demander à un système d’IA en santé et en recherche

La grille des six préalables

Ce cadre est une proposition de gouvernance issue de cette lecture critique. Il peut servir de support à un laboratoire, à un comité d’éthique ou à une direction médicale. Il ne constitue pas un standard validé ni une certification de sécurité. 1. Définir la tâche et le bénéfice attendu. Décrire l’utilisateur, le contexte, le résultat recherché et les usages exclus. Choisir des critères adaptés : temps de documentation, qualité d’une synthèse ou résultat patient. 2. Rendre le résultat traçable. Relier les affirmations décisives aux passages, données ou expériences qui les soutiennent. Documenter la version du modèle, le corpus et les transformations importantes. 3. Vérifier la portée de la preuve. Contrôler la population, le comparateur, les critères de jugement, l’incertitude et le niveau de validation. Une expérience préclinique ne suffit pas à établir un bénéfice patient. 4. Organiser un contrôle indépendant. Désigner les personnes chargées de vérifier les éléments décisifs, leurs moyens et le temps disponible. Prévoir une vérification extérieure à l’appréciation du système qui a produit le résultat. 5. Mesurer le travail complet et la sécurité. Intégrer relecture, recherche des sources et correction au calcul du gain. Mesurer les erreurs, leur gravité et leur détection dans le contexte réel d’utilisation. 6. Prévoir la correction et la suspension. Désigner un responsable des signalements. Définir comment corriger les documents concernés, informer leurs utilisateurs et interrompre l’usage lorsqu’un problème le justifie. • 1. Définir la tâche et le bénéfice attendu. Décrire l’utilisateur, le contexte, le résultat recherché et les usages exclus. Choisir des critères adaptés : temps de documentation, qualité d’une synthèse ou résultat patient. • 2. Rendre le résultat traçable. Relier les affirmations décisives aux passages, données ou expériences qui les soutiennent. Documenter la version du modèle, le corpus et les transformations importantes. • 3. Vérifier la portée de la preuve. Contrôler la population, le comparateur, les critères de jugement, l’incertitude et le niveau de validation. Une expérience préclinique ne suffit pas à établir un bénéfice patient. • 4. Organiser un contrôle indépendant. Désigner les personnes chargées de vérifier les éléments décisifs, leurs moyens et le temps disponible. Prévoir une vérification extérieure à l’appréciation du système qui a produit le résultat. • 5. Mesurer le travail complet et la sécurité. Intégrer relecture, recherche des sources et correction au calcul du gain. Mesurer les erreurs, leur gravité et leur détection dans le contexte réel d’utilisation. • 6. Prévoir la correction et la suspension. Désigner un responsable des signalements. Définir comment corriger les documents concernés, informer leurs utilisateurs et interrompre l’usage lorsqu’un problème le justifie. Pour chaque case, demander un élément concret : protocole, lien vers la source, résultat d’évaluation, responsable nommé ou procédure de signalement. Une case cochée sans moyen de vérifier ce qu’elle recouvre apporte peu de garanties. Ces exigences donnent une manière concrète de discuter d’un outil avec ses concepteurs. Elles évitent de réduire la confiance à la réputation d’un modèle, à une démonstration impressionnante ou à la qualité de sa rédaction. L’IA ouvre des possibilités de recherche qui méritent d’être développées. Pour les utiliser en santé, nous devons pouvoir suivre le chemin qui conduit d’une proposition à une expérience, puis d’un résultat à une décision. C’est ce chemin vérifiable qui donne sa valeur à la preuve. Lionel Reichardt — Pharmageek 🎵 « J’hallucine » — Quand l’IA chante avec beaucoup trop d’assurance Une étude introuvable, un chiffre d’une précision impeccable, trois liens pour faire sérieux… et une réponse prononcée avec une confiance absolue. Pour accompagner cette édition d’IAtrogénique × IAtus, je vous propose une nouvelle chanson (la 5ème) de mon album Santé 5.0 — Téléchargement en cours : « J’hallucine ». Retrouvez toutes les chansons sur la playlist https://youtu.be/n27myl68fkc?si=vBsuTFihEZSooOiu Une satire musicale des références inventées, de la certitude fabriquée et des promesses qui résistent mal à l’épreuve du terrain. Les chiffres, les références et les situations médicales des paroles sont des éléments de fiction parodique. Derrière l’humour, le même fil conducteur que cette newsletter : une réponse convaincante mérite une vérification ; une innovation prometteuse mérite une évaluation. Comme le chante le morceau : « Douter n’empêche pas d’avancer, vérifier n’interdit pas d’inventer. » 🎧 À écouter avec un peu de recul — et beaucoup d’esprit critique.

Sources et repères de lecture

Cette édition est une synthèse critique de travaux sélectionnés, complétée par des recommandations de l’auteur. Elle ne constitue pas une revue systématique. Les résultats sont rattachés à leurs protocoles ; les expériences numériques, les validations précliniques et les études chez des patients sont distinguées. Abramson et al. Accurate structure prediction of biomolecular interactions with AlphaFold 3. Nature, 2024. DOI 10.1038/s41586-024-07487-w. Prédiction de structures, comparaisons expérimentales de référence et limites du modèle. Co-Scientist. Accelerating scientific discovery with Co-Scientist. Nature, 2026. DOI 10.1038/s41586-026-10644-y. Génération d’hypothèses et validations biomédicales précliniques. Lu et al. Towards end-to-end automation of AI research. Nature, 2026. DOI 10.1038/s41586-026-10265-5. Résultats spécifiques en apprentissage automatique ; les précisions reprises ici proviennent des extraits indexés de l’éditeur, l’accès direct au texte ayant échoué. Kusumegi et al. Scientific production in the era of large language models. Science, 2025. DOI 10.1126/science.adw3000. Version auteur. Production et indicateurs indirects de qualité ; interprétation causale contestée dans la référence suivante. Renault, Bergeaud et Bosquet. Scientific production in the era of large language models: Outcome-triggered treatment timing and spurious event-study dynamics. PNAS, 2026. DOI 10.1073/pnas.2618638123. Version arXiv consultée. Critique de la datation de l’adoption, simulations et placebos ; publication finale identifiée. Hao et al. Artificial intelligence tools expand scientists’ impact but contract science’s focus. Nature, 2026. DOI 10.1038/s41586-025-09922-y. Analyse observationnelle de la production et de l’exploration collectives, portant sur des outils d’IA au sens large. Topaz et al. Fabricated citations: an audit across 2·5 million biomedical papers. The Lancet, Correspondence, 9 mai 2026, 407, 1779–1781. Texte original hébergé par l’auteur. Texte principal consulté ; annexe non consultée. Fabrications dans un corpus publié, sans attribution causale à l’IA. Peoples et al. When machines misread science. npj Digital Medicine, 2026. DOI 10.1038/s41746-026-03160-w. Commentaire et propositions sur l’interprétation des publications, non dispositif validé. Asgari et al. A framework to assess clinical safety and hallucination rates of LLMs for medical text summarisation. npj Digital Medicine, 2025. DOI 10.1038/s41746-025-01670-7. Consultations simulées, évaluations répétées ; gravité potentielle et affiliation industrielle à considérer. Asai et al. Synthesizing scientific literature with retrieval-augmented language models. Nature, 2026. DOI 10.1038/s41586-025-10072-4. OpenScholar et évaluation multidisciplinaire de recherche et de synthèse. Sarkar. Why AI can’t be trusted to write scientific reviews. Nature, World View, 26 mai 2026. DOI 10.1038/d41586-026-01616-3. Introduction accessible consultée ; reste sous abonnement. Témoignage expert de la rédactrice en chef de Cochrane. ICMJE. AI use by authors et Defining the Role of Authors and Contributors. Responsabilité, qualité d’auteur et déclaration. Les instructions de la revue restent à vérifier pour chaque soumission. Elsevier. Generative AI policies for journals. Politiques relatives aux auteurs, éditeurs et relecteurs ; exigences dépendant du rôle et de l’usage. Thelwall. Research quality evaluation by AI in the era of Large Language Models: Advantages, disadvantages, and systemic effects. arXiv:2506.07748v1, 9 juin 2025. Prépublication, PDF fourni consulté ; aucune publication finale confirmée dans cet audit. Agweyu et al. Generative AI-enabled clinical decision support system in primary care: a pragmatic, cluster-randomized trial. Nature Medicine, 26 juin 2026. DOI 10.1038/s41591-026-04503-6. Essai dans des structures de soins primaires au Kenya, avec critère patient à 14 jours. OMS. Ethics and governance of artificial intelligence for health: guidance on large multi-modal models. 2024. Annonce officielle du 18 janvier 2024 ; fiche du rapport. Gouvernance des modèles multimodaux et risques, dont le biais d’automatisation. OMS. Artificial intelligence-related health research: ethics review and oversight. 21 juillet 2026, ISBN 978-92-4-012407-3. Fiche officielle ; communiqué du 21 septembre 2026. Fiche et communiqué consultés ; rapport intégral non récupéré. Codreanu et al. AI in Science: Early Insights. Rapport de recherche, septembre 2026. PDF original. Google, Google DeepMind, MIT FutureTech et autres affiliations ; enquête déclarative, données d’usage et inventaire de modèles spécialisés. Ne pas assimiler ce rapport à un essai causal. Gartenberg, Hasan, Murray et Pierce. More Versus Better: Artificial Intelligence, Incentives, and the Emerging Crisis in Peer Review. Organization Science, 27 avril 2026. DOI 10.1287/orsc.2026.ed.v37.n3. Analyse d’une revue, détection statistique agrégée et indicateurs rédactionnels ; portée distincte de la validité des résultats. arXiv. Attention Authors: Updated Practice for Review Articles and Position Papers in arXiv CS Category. 31 octobre 2025. Annonce officielle. Périmètre informatique et types de soumissions précisés. Sridharan et Sivaramakrishnan. Artificial intelligence in the retraction spotlight: trends, causes and consequences of withdrawn AI literature through a systematic bibliometric review. Frontiers in Research Metrics and Analytics, 20 janvier 2026. DOI 10.3389/frma.2025.1737168. Corpus d’articles portant sur l’IA ; recherche dans Scopus en avril 2025. L’année du DOI et du volume est 2025, la publication est datée de janvier 2026. Shumailov et al. AI models collapse when trained on recursively generated data. Nature, 24 juillet 2024. DOI 10.1038/s41586-024-07566-y. Mécanisme et expériences d’entraînement récursif ; aucune mesure de l’effondrement d’un corpus scientifique global. HAS. Premières clefs d’usage de l’IA générative en santé. 30 octobre 2025, actualisation du 15 avril 2026. Document officiel. Repère A.V.E.C. ; document distinct du projet conjoint HAS–CNIL. Commission européenne. AI Act — cadre réglementaire et calendrier actualisé. État consulté au 4 octobre 2026 ; modifications du calendrier et distinction des catégories à haut risque. Ce repère ne remplace pas une analyse de qualification juridique du produit. Cabanac, Labbé et Magazinov. Tortured phrases: A dubious writing style emerging in science. Evidence of critical issues affecting established journals. arXiv:2107.06751, juillet 2021. Prépublication sur des reformulations suspectes antérieures à la diffusion de ChatGPT. Sharma et al. Towards Understanding Sycophancy in Language Models. arXiv:2310.13548, soumis en 2023, version révisée en mai 2025. Notice et résumé consultés ; expériences sur des assistants ajustés avec des préférences humaines, sans mesure clinique. • Abramson et al. Accurate structure prediction of biomolecular interactions with AlphaFold 3. Nature, 2024. DOI 10.1038/s41586-024-07487-w. Prédiction de structures, comparaisons expérimentales de référence et limites du modèle. • Co-Scientist. Accelerating scientific discovery with Co-Scientist. Nature, 2026. DOI 10.1038/s41586-026-10644-y. Génération d’hypothèses et validations biomédicales précliniques. • Lu et al. Towards end-to-end automation of AI research. Nature, 2026. DOI 10.1038/s41586-026-10265-5. Résultats spécifiques en apprentissage automatique ; les précisions reprises ici proviennent des extraits indexés de l’éditeur, l’accès direct au texte ayant échoué. • Kusumegi et al. Scientific production in the era of large language models. Science, 2025. DOI 10.1126/science.adw3000. Version auteur. Production et indicateurs indirects de qualité ; interprétation causale contestée dans la référence suivante. • Renault, Bergeaud et Bosquet. Scientific production in the era of large language models: Outcome-triggered treatment timing and spurious event-study dynamics. PNAS, 2026. DOI 10.1073/pnas.2618638123. Version arXiv consultée. Critique de la datation de l’adoption, simulations et placebos ; publication finale identifiée. • Hao et al. Artificial intelligence tools expand scientists’ impact but contract science’s focus. Nature, 2026. DOI 10.1038/s41586-025-09922-y. Analyse observationnelle de la production et de l’exploration collectives, portant sur des outils d’IA au sens large. • Topaz et al. Fabricated citations: an audit across 2·5 million biomedical papers. The Lancet, Correspondence, 9 mai 2026, 407, 1779–1781. Texte original hébergé par l’auteur. Texte principal consulté ; annexe non consultée. Fabrications dans un corpus publié, sans attribution causale à l’IA. • Peoples et al. When machines misread science. npj Digital Medicine, 2026. DOI 10.1038/s41746-026-03160-w. Commentaire et propositions sur l’interprétation des publications, non dispositif validé. • Asgari et al. A framework to assess clinical safety and hallucination rates of LLMs for medical text summarisation. npj Digital Medicine, 2025. DOI 10.1038/s41746-025-01670-7. Consultations simulées, évaluations répétées ; gravité potentielle et affiliation industrielle à considérer. • Asai et al. Synthesizing scientific literature with retrieval-augmented language models. Nature, 2026. DOI 10.1038/s41586-025-10072-4. OpenScholar et évaluation multidisciplinaire de recherche et de synthèse. • Sarkar. Why AI can’t be trusted to write scientific reviews. Nature, World View, 26 mai 2026. DOI 10.1038/d41586-026-01616-3. Introduction accessible consultée ; reste sous abonnement. Témoignage expert de la rédactrice en chef de Cochrane. • ICMJE. AI use by authors et Defining the Role of Authors and Contributors. Responsabilité, qualité d’auteur et déclaration. Les instructions de la revue restent à vérifier pour chaque soumission. • Elsevier. Generative AI policies for journals. Politiques relatives aux auteurs, éditeurs et relecteurs ; exigences dépendant du rôle et de l’usage. • Thelwall. Research quality evaluation by AI in the era of Large Language Models: Advantages, disadvantages, and systemic effects. arXiv:2506.07748v1, 9 juin 2025. Prépublication, PDF fourni consulté ; aucune publication finale confirmée dans cet audit. • Agweyu et al. Generative AI-enabled clinical decision support system in primary care: a pragmatic, cluster-randomized trial. Nature Medicine, 26 juin 2026. DOI 10.1038/s41591-026-04503-6. Essai dans des structures de soins primaires au Kenya, avec critère patient à 14 jours. • OMS. Ethics and governance of artificial intelligence for health: guidance on large multi-modal models. 2024. Annonce officielle du 18 janvier 2024 ; fiche du rapport. Gouvernance des modèles multimodaux et risques, dont le biais d’automatisation. • OMS. Artificial intelligence-related health research: ethics review and oversight. 21 juillet 2026, ISBN 978-92-4-012407-3. Fiche officielle ; communiqué du 21 septembre 2026. Fiche et communiqué consultés ; rapport intégral non récupéré. • Codreanu et al. AI in Science: Early Insights. Rapport de recherche, septembre 2026. PDF original. Google, Google DeepMind, MIT FutureTech et autres affiliations ; enquête déclarative, données d’usage et inventaire de modèles spécialisés. Ne pas assimiler ce rapport à un essai causal. • Gartenberg, Hasan, Murray et Pierce. More Versus Better: Artificial Intelligence, Incentives, and the Emerging Crisis in Peer Review. Organization Science, 27 avril 2026. DOI 10.1287/orsc.2026.ed.v37.n3. Analyse d’une revue, détection statistique agrégée et indicateurs rédactionnels ; portée distincte de la validité des résultats. • arXiv. Attention Authors: Updated Practice for Review Articles and Position Papers in arXiv CS Category. 31 octobre 2025. Annonce officielle. Périmètre informatique et types de soumissions précisés. • Sridharan et Sivaramakrishnan. Artificial intelligence in the retraction spotlight: trends, causes and consequences of withdrawn AI literature through a systematic bibliometric review. Frontiers in Research Metrics and Analytics, 20 janvier 2026. DOI 10.3389/frma.2025.1737168. Corpus d’articles portant sur l’IA ; recherche dans Scopus en avril 2025. L’année du DOI et du volume est 2025, la publication est datée de janvier 2026. • Shumailov et al. AI models collapse when trained on recursively generated data. Nature, 24 juillet 2024. DOI 10.1038/s41586-024-07566-y. Mécanisme et expériences d’entraînement récursif ; aucune mesure de l’effondrement d’un corpus scientifique global. • HAS. Premières clefs d’usage de l’IA générative en santé. 30 octobre 2025, actualisation du 15 avril 2026. Document officiel. Repère A.V.E.C. ; document distinct du projet conjoint HAS–CNIL. • Commission européenne. AI Act — cadre réglementaire et calendrier actualisé. État consulté au 4 octobre 2026 ; modifications du calendrier et distinction des catégories à haut risque. Ce repère ne remplace pas une analyse de qualification juridique du produit. • Cabanac, Labbé et Magazinov. Tortured phrases: A dubious writing style emerging in science. Evidence of critical issues affecting established journals. arXiv:2107.06751, juillet 2021. Prépublication sur des reformulations suspectes antérieures à la diffusion de ChatGPT. • Sharma et al. Towards Understanding Sycophancy in Language Models. arXiv:2310.13548, soumis en 2023, version révisée en mai 2025. Notice et résumé consultés ; expériences sur des assistants ajustés avec des préférences humaines, sans mesure clinique. [A] National Science Board / NCSES. The State of U.S. Science and Engineering 2026, figure 29 : « S&E publications, by selected region, country, or economy: 2014–24 ». Données Scopus extraites en août 2025. Les +60,7 % et +7,3 % sont calculés à partir du tableau, respectivement pour 2014–2024 et 2023–2024. Rapport, série et méthodologie. www.ncses.nsf.gov [B] Hanson MA, Gómez Barreiro P, Crosetto P, Brockington D. The strain on scientific publishing. Quantitative Science Studies, 2024;5(4):823–843. DOI : 10.1162/qss_a_00327. Source du +47 % entre 2016 et 2022 ; conserver ce résultat séparément de la série NSF. direct.mit.edu [C] Beigel F et al. The Drain of Scientific Publishing. Prépublication, novembre 2025, arXiv:2511.04820 ; évaluation publique publiée sur MetaROR le 10 avril 2026. Analyse des tensions autour de l’argent, du temps, de la confiance et du contrôle scientifique. Texte et évaluations. • [A] National Science Board / NCSES. The State of U.S. Science and Engineering 2026, figure 29 : « S&E publications, by selected region, country, or economy: 2014–24 ». Données Scopus extraites en août 2025. Les +60,7 % et +7,3 % sont calculés à partir du tableau, respectivement pour 2014–2024 et 2023–2024. Rapport, série et méthodologie. www.ncses.nsf.gov • [B] Hanson MA, Gómez Barreiro P, Crosetto P, Brockington D. The strain on scientific publishing. Quantitative Science Studies, 2024;5(4):823–843. DOI : 10.1162/qss_a_00327. Source du +47 % entre 2016 et 2022 ; conserver ce résultat séparément de la série NSF. direct.mit.edu • [C] Beigel F et al. The Drain of Scientific Publishing. Prépublication, novembre 2025, arXiv:2511.04820 ; évaluation publique publiée sur MetaROR le 10 avril 2026. Analyse des tensions autour de l’argent, du temps, de la confiance et du contrôle scientifique. Texte et évaluations.