Votre question dépasse à mon sens le cadre strict de la santé. Elle revient à s'interroger sur ce que recouvre la notion d'IA de confiance : des algorithmes certifiés, prouvés, validés, s'insérant dans des chaînes de traitement de la donnée. Il faut garder en tête le continuum entre les données disponibles et les algorithmes qui évoluent, justement, en fonction de ces données disponibles et apprennent grâce à elles. C'est l'ensemble de cette chaîne de traitement continue, où l'on assiste à des allers-retours, des échanges et des adaptations entre algorithmes et données, qu'il convient de certifier.
La notion d'IA de confiance s'étend à tout un outillage et à la possibilité de s'appuyer sur des tiers de confiance pour garantir les résultats. Elle englobe aussi des normes et un cadre mis en place par le législateur. Ceci dit, il faut prendre garde, vu la plasticité du numérique et sa rapide évolution, à ne pas lui imposer de règles trop rigides au risque d'empêcher la naissance de l'innovation. C'est là toute la difficulté que pose le numérique : il faut à la fois l'encadrer par souci de transparence, sans pour autant étouffer l'innovation, puisque c'est sur elle qu'il repose, autant que sur la confiance.
Ma réponse s'est éloignée du cadre strict de la santé, dans la mesure où votre question allait elle-même bien au-delà.