Thèse du Comportement au Cerveau une IA Multimodale Explicable qui Relie les Signaux Comportementaux et Cérébraux pour la Détection Précoce et le Suivi des Troubles Neurodéveloppementaux H/F - 75

Établissement : Institut Polytechnique de Paris Télécom SudParis
École doctorale : Ecole Doctorale de l'Institut Polytechnique de Paris
Laboratoire de recherche : SAMOVAR - Services répartis, Architectures, Modélisation, Validation, Administration des Réseaux
Direction de la thèse : Mounim A. EL YACOUBI ORCID 0000000273830588
Début de la thèse : 2026-10-01
Date limite de candidature : 2026-04-15T23:59:59

Ce projet de doctorat vise à développer des cadres d'intelligence artificielle multimodale explicable pour la détection précoce et le suivi continu des troubles du neurodéveloppement tels que la dysgraphie, la dyslexie, le TDAH et les troubles du spectre de l'autisme. L'objectif est d'établir des liens entre des signaux comportementaux - écriture manuscrite, parole, expressions faciales et regard - et des signaux cérébraux exploratoires (EEG et neuroimagerie) au sein d'architectures d'apprentissage unifiées et interprétables.

Les outils diagnostiques actuels et les approches d'IA restent largement unimodaux, analysant des comportements isolés qui ne permettent pas de capturer les interactions complexes entre fonctions cognitives, linguistiques et motrices. S'appuyant sur nos travaux antérieurs sur les maladies neurodégénératives (Alzheimer et Parkinson) [1-8], dans lesquels des modèles d'IA ont exploité avec succès l'écriture manuscrite, la parole et les caractéristiques faciales pour détecter des marqueurs précoces de la maladie, cette thèse étendra ces approches aux populations d'enfants en développement et aux contextes d'apprentissage.

Au-delà des approches multimodales existantes, le projet étudiera l'intégration de grands modèles de langage (LLM) pour l'analyse du contenu linguistique issu des transcriptions de parole et des productions écrites. Ces modèles permettront d'extraire des marqueurs sémantiques, syntaxiques et discursifs susceptibles de révéler des altérations subtiles du langage associées aux troubles du neurodéveloppement. En combinant la dynamique comportementale de bas niveau avec des représentations linguistiques de haut niveau, le cadre proposé vise à capturer des profils cognitifs plus riches et à mettre en évidence des marqueurs inaccessibles aux approches traditionnelles de traitement du signal ou aux systèmes d'IA unimodaux.

Le travail se concentrera sur trois objectifs scientifiques principaux :
(1) développer des algorithmes de synchronisation intermodale robuste et d'apprentissage de représentations à partir de signaux comportementaux hétérogènes ;
(2) concevoir des mécanismes avancés d'explicabilité permettant d'interpréter les décisions des modèles d'IA à l'aide de cartes d'attention, de méthodes d'attribution de caractéristiques et de justifications en langage naturel ;
(3) étendre ces modèles multimodaux afin d'intégrer des modalités cérébrales exploratoires (EEG et neuroimagerie fonctionnelle) pour révéler les liens entre dynamiques comportementales, structures linguistiques et activité neuronale.

Sur le plan méthodologique, la thèse combinera des avancées théoriques en apprentissage multimodal, en alignement de représentations et en intelligence artificielle explicable avec une validation expérimentale rigoureuse sur des jeux de données multimodaux, à la fois publics [9][10] et nouvellement collectés en collaboration avec des partenaires éducatifs et cliniques. Une attention particulière sera portée au développement de stratégies d'intégration multimodale interprétables capables de modéliser les interactions entre signaux moteurs, linguistiques et neuronaux.

Dans son ensemble, cette proposition vise à dépasser significativement l'état de l'art en : (i) intégrant des modalités comportementales, linguistiques et neuronales au sein d'architectures explicables unifiées ; (ii) exploitant les modèles fondamentaux et les LLM pour capturer des marqueurs linguistiques de haut niveau ; et (iii) développant des systèmes d'IA multimodaux interprétables capables de relier les comportements observables aux processus cérébraux sous-jacents.

À long terme, cette recherche vise à favoriser le développement de technologies d'IA responsables, transparentes et inclusives, soutenant le diagnostic précoce, la personnalisation des thérapies et le suivi longitudinal des enfants présentant des troubles du neurodéveloppement dans les environnements éducatifs et cliniques.

Neurodevelopmental disorders such as dyslexia, dysgraphia, attention deficit hyperactivity disorder (ADHD), and autism spectrum disorders affect a substantial proportion of children worldwide and can significantly impact learning, social interaction, and long-term well-being. Early detection and continuous monitoring are therefore essential to enable timely interventions and personalized educational or therapeutic support. However, current diagnostic practices largely rely on clinical observations and standardized assessments, which may be time-consuming, subjective, and sometimes insufficiently sensitive to subtle early markers.

Recent advances in digital technologies and artificial intelligence have opened new perspectives for the analysis of behavioral signals as potential digital biomarkers of cognitive and neurological conditions. Signals such as handwriting dynamics, speech patterns, facial expressions, and eye movements provide rich information about motor control, language processing, and cognitive functioning. Machine learning approaches have demonstrated promising results in detecting early markers of neurological and neurodevelopmental disorders from such behavioral data.

Despite these advances, most existing studies remain limited to unimodal analyses, focusing on a single type of signal and therefore failing to capture the complex interactions between cognitive, linguistic, and motor processes. In addition, many AI models remain difficult to interpret, which limits their adoption in clinical and educational environments where transparency and trust are essential.

At the same time, recent progress in multimodal learning, foundation models, and large language models (LLMs) is transforming the landscape of artificial intelligence. In particular, LLMs enable the extraction of high-level linguistic and semantic markers from speech transcripts and written productions, offering new possibilities for the analysis of language impairments associated with neurodevelopmental disorders. Combining such linguistic representations with behavioral signals and exploratory brain measurements such as EEG or neuroimaging opens new research directions for the development of interpretable multimodal AI systems capable of linking behavior, language, and neural activity.