Thèse Apprentissage de Représentations Multimodales pour l'Aide à la Décision dans le Cancer du Sein à Partir d'Images et de Données Cliniques H/F - Doctorat.Gouv.Fr

Établissement : Institut Polytechnique de Paris Télécom Paris École doctorale : Ecole Doctorale de l'Institut Polytechnique de Paris Laboratoire de recherche : Laboratoire de Traitement et Communication de l'Information Direction de la thèse : Maxime DI FOLCO Début de la thèse : 2026-10-01 Date limite de candidature : 2026-08-31T23:59:59 La prise de décision clinique en oncologie repose de plus en plus sur l'intégration desources de données hétérogènes, en particulier l'imagerie médicale et les données cliniquesstructurées [1]. Dans le cancer du sein, par exemple, l'évaluation repose couramment surdes modalités d'imagerie telles que la mammographie, l'échographie ou l'IRM, ainsi que surdes variables cliniques incluant les caractéristiques démographiques des patientes, lescomorbidités et l'historique des traitements [2]. Bien que l'apprentissage profond aitconsidérablement fait progresser l'analyse basée sur l'image, les données cliniquesstructurées - généralement stockées sous forme tabulaire - restent sous-exploitées dansl'IA médicale multimodale, malgré leur rôle essentiel dans la prise de décision réelle.Les travaux récents se concentrent principalement sur les modèles vision-langagecombinant encodeurs d'images et grands modèles de langage (LLMs). Cependant, cesarchitectures sont souvent mal adaptées aux données tabulaires cliniques, qui contiennentdes variables continues, des valeurs manquantes, ainsi qu'une structure ordinale oucatégorielle que les LLM ne traitent pas naturellement [3]. De plus, les méthodes les plusavancées sont fréquemment évaluées sur de larges jeux de données fortement standardiséset peinent à se généraliser à des contextes réels caractérisés par de petits effectifs, descohortes hétérogènes, des suivis incomplets et des annotations irrégulières [4-5].En oncologie, ces limitations sont particulièrement problématiques. De nombreuses tâchesde prédiction - telles que l'évaluation BI-RADS, le grading tumoral ou la stratification durisque - impliquent des labels ordinaux et requièrent un raisonnement nuancé combinantimagerie et variables cliniques. Pourtant, les modèles multimodaux actuels négligentsouvent la sémantique des données cliniques tabulaires, réduisant leur contribution à uneconcaténation naïve ou une fusion tardive, sans exploiter la structure ordinale et les relationsorganisationnelles susceptibles de guider l'apprentissage des représentations.Cela motive le développement de nouvelles approches d'apprentissage auto-supervisé(SSL) multimodal capables de combiner de manière robuste les images et les donnéescliniques structurées, tout en tenant compte des valeurs manquantes, des structuressémantiques et des biais de population. De telles représentations doivent être transférablesen contexte clinique, s'adapter aux jeux de données de petite taille ou incomplets, et fournirdes sorties cliniquement pertinentes à travers des groupes de patientes et des institutionsvariés. La prise de décision en oncologie repose de plus en plus sur l'intégration de donnéeshétérogènes, combinant imagerie médicale et données cliniques structurées. Encancérologie mammaire, les images (mammographie, IRM, échographie) sont souventanalysées séparément des informations cliniques, pourtant essentielles pour le diagnostic etla prédiction du risque. Les modèles actuels de deep learning privilégient l'imagerie ou lecouplage avec du textes, mais restent peu adaptés aux données tabulaires ordinales ouincomplètes. Il existe donc un besoin crucial de méthodes multimodales capables de tirerparti de ces deux types de données pour améliorer la précision et la pertinence clinique desmodèles. L'objectif de cette thèse est de développer de nouvelles méthodes d'apprentissageauto-supervisé multimodal capables d'intégrer de manière cohérente les images médicaleset les données cliniques. Le travail visera à concevoir des stratégies tenant compte desspécificités des données tabulaires (valeurs manquantes, variables ordinales, hétérogénéitépatient), tout en améliorant la robustesse des représentations apprises. Il s'agira égalementd'explorer des approches sensibles à l'ordre pour mieux modéliser des cibles cliniquesordinales telles que les catégories BI-RADS ou les grades tumoraux. Enfin, les méthodesseront évaluées sur divers jeux de données et tâches de dépistage, de caractérisation et deprédiction du risque en cancérologie mammaire. La thèse développera des méthodes d'apprentissage auto-supervisé multimodal combinantimagerie mammaire et données cliniques tabulaires. L'accent sera mis sur la gestion desvaleurs manquantes, des variables ordinales et des déséquilibres, ainsi que surl'apprentissage de représentations ordinal-aware adaptées aux labels cliniques (BI-RADS,grades tumoraux). Des stratégies de fusion et de transfert entre jeux de données serontexplorées pour assurer la robustesse et la généralisation. Les données longitudinales serontégalement intégrées pour modéliser la progression de la maladie et le risque de récidive.Les modèles seront évalués sur la performance, la généralisabilité et la pertinence clinique,à partir de bases publiques et de cohortes partenaires.

Master (ou équivalent) en informatique, mathématiques appliquées, génie biomédicalou domaine similaireFort intérêt pour l'imagerie médicale et les applications de santéExpérience pratique avec des frameworks de deep learning (par ex. PyTorch,TensorFlow)Solides compétences en programmation (de préférence en Python)Une familiarité avec l'apprentissage automatique, la vision par ordinateur ou letraitement de données multimodales est un atoutTrès bonnes compétences en communication écrite et orale en anglais

• Imagerie médicale
• Gestion des données
• Python
• Programmation
• Imagerie par résonance magnétique (IRM)
• Anglais
• RAD
• Machine learning
• TensorFlow
• Business Intelligence