Thèse Conception et Évaluation d'Un Système de Débriefing Immersif Adaptatif en Simulateur de Vol en Réalité Virtuelle H/F - Doctorat.Gouv.Fr

Établissement : Université Paris-Saclay GS Informatique et sciences du numérique École doctorale : Sciences et Technologies de l'Information et de la Communication Laboratoire de recherche : IBISC - Informatique, BioInformatique, Systèmes Complexes Direction de la thèse : Samir OTMANE ORCID 0000000322214264 Début de la thèse : 2026-10-01 Date limite de candidature : 2026-08-31T23:59:59 Cette thèse CIFRE porte sur la conception et l'évaluation d'un système de débriefing immersif adaptatif intégré à un simulateur de vol en réalité virtuelle. Elle s'inscrit dans un double contexte : d'une part, la croissance des besoins de formation aéronautique, illustrée par les projections sectorielles 2025-2044 de Boeing et d'Airbus ; d'autre part, le développement de simulateurs XR capables de reproduire des situations critiques tout en instrumentant finement l'activité des apprenants. Toutefois, la valeur pédagogique d'une simulation ne repose pas seulement sur le réalisme de l'environnement ou sur la fidélité des procédures. La littérature en apprentissage expérientiel, en simulation-based learning et en debriefing souligne que l'expérience simulée doit être suivie d'une phase réflexive structurée afin de transformer l'action en connaissances mobilisables.Dans les simulateurs XR actuels, cette phase reste encore souvent dissociée de l'environnement immersif ou limitée à une restitution descriptive de la performance. Les traces collectées - actions, interactions, événements du scénario, temporalité, erreurs, regard et verbalisations - sont rarement mises en relation pour caractériser l'activité de l'apprenant, ses stratégies attentionnelles, ses décisions et sa compréhension de la situation. Les travaux en learning analytics multimodal et en eye-tracking montrent pourtant l'intérêt de croiser traces comportementales, perceptives et déclaratives pour analyser l'expertise, la charge cognitive et les processus de décision. Le verrou scientifique central consiste donc à passer de données multimodales hétérogènes à des indicateurs pédagogiquement interprétables, capables de soutenir un débriefing contextualisé, explicable et adapté.La thèse vise à concevoir une méthode, une architecture et une interface de débriefing immersif adaptatif pour le système X-R Trainer de X-R Solutions. Trois verrous scientifiques structureront les travaux. Le premier concerne la synchronisation, la sémantisation et l'interprétation pédagogique des traces multimodales issues de la simulation. Il s'agira de construire des indicateurs exploitables à partir de données relatives aux actions de l'apprenant, à ses interactions avec le cockpit, aux événements scénarisés, aux données de regard, à la temporalité de l'activité, aux erreurs détectées et aux verbalisations produites lors du débriefing. Le deuxième verrou porte sur l'adaptation du débriefing au profil de l'apprenant, à son niveau d'expertise, à ses erreurs récurrentes et aux objectifs pédagogiques du scénario. Le troisième concerne la restitution intelligible de l'analyse en immersion, au moyen d'un rejeu annoté et d'un agent incarné de type co-pilote formateur, sans produire un système opaque ou difficilement appropriable.La méthodologie combinera un état de l'art structuré, une analyse de l'activité en simulateur de vol, l'instrumentation du système existant, la modélisation des traces, la conception d'indicateurs, le développement d'un prototype et une évaluation expérimentale. L'évaluation comparera différentes modalités de débriefing et mobilisera des mesures objectives, des questionnaires standardisés et des analyses qualitatives des verbalisations. Les contributions attendues sont : un modèle de débriefing immersif adaptatif, une architecture explicable d'analyse multimodale, des indicateurs de cohérence entre perception, action, décision, erreur et verbalisation, un prototype intégré au simulateur, ainsi que des résultats empiriques sur la performance, la compréhension des erreurs, la qualité des auto-explications, la charge cognitive, l'utilisabilité et l'acceptabilité du dispositif. Les environnements de formation en réalité virtuelle et en réalité étendue se développent dans les domaines à forte criticité, en particulier lorsque l'activité professionnelle combine procédures normées, charge cognitive élevée, coordination avec des instruments, contraintes temporelles et conséquences importantes de l'erreur. La formation aéronautique constitue à cet égard un terrain particulièrement pertinent : elle mobilise des simulateurs, des procédures, des évaluations régulières de compétence et des phases de débriefing essentielles à la consolidation des apprentissages. Dans un contexte de croissance durable des besoins de formation des personnels de l'aviation, les simulateurs XR offrent des perspectives de flexibilité, d'instrumentation fine et d'entraînement autonome.La littérature sur le simulation-based learning montre cependant que l'apprentissage ne résulte pas mécaniquement de l'immersion ni de la répétition d'une tâche simulée. Les travaux sur l'apprentissage expérientiel soulignent le rôle central de la réflexion sur l'expérience, tandis que les recherches sur le débriefing en simulation montrent que l'analyse guidée de l'activité, la verbalisation des décisions et la confrontation aux événements critiques constituent des leviers majeurs de progression. Dans les environnements XR, les travaux récents sur le débriefing immersif, notamment les approches de record/replay/redo, ouvrent la possibilité de replacer l'apprenant dans la situation vécue afin de soutenir une réflexivité située. Ces approches demeurent toutefois encore peu adaptatives et exploitent partiellement les données produites par le simulateur.Les learning analytics multimodaux fournissent un cadre scientifique pour analyser des traces hétérogènes issues de l'activité d'apprentissage : logs d'action, interactions avec les instruments, événements scénarisés, temporalité, erreurs, données physiologiques ou comportementales, verbalisations et données de regard. L'eye-tracking en RV est particulièrement pertinent pour les tâches de pilotage, car il permet d'interroger la distribution de l'attention visuelle, la consultation des instruments, les omissions perceptives et les différences entre novices et experts. Néanmoins, la difficulté scientifique ne réside pas seulement dans la collecte de ces données, mais dans leur synchronisation, leur sémantisation et leur transformation en indicateurs pédagogiquement interprétables.Le sujet s'inscrit donc à l'intersection de la réalité virtuelle, de l'interaction humain-machine, des learning analytics, de l'intelligence artificielle explicable et des technologies éducatives. Il prend appui sur le système X-R Trainer développé par X-R Solutions, simulateur immersif de formation aéronautique, pour étudier comment un dispositif de débriefing peut devenir adaptatif, explicable et utile à l'auto-analyse. Le verrou scientifique central consiste à passer d'un environnement immersif instrumenté à un système capable d'orchestrer des traces multimodales, de sélectionner des épisodes pertinents, de les restituer intelligiblement et d'accompagner l'apprenant par un agent co-pilote formateur. L'objectif général de la thèse est de concevoir, instrumenter et évaluer un système de débriefing immersif adaptatif intégré à un simulateur de vol en réalité virtuelle. Le travail vise à dépasser une logique de restitution descriptive des performances pour produire un débriefing fondé sur l'analyse située de l'activité de l'apprenant, de ses erreurs, de ses stratégies attentionnelles et de ses justifications.Les objectifs scientifiques sont les suivants :1. formaliser un modèle de débriefing immersif adaptatif articulant scénario de formation, objectifs pédagogiques, traces multimodales, profil apprenant, indicateurs interprétables et stratégies de feedback ;2. définir un modèle de traces permettant de synchroniser les actions, interactions, événements du scénario, données de regard, temporalités, erreurs et verbalisations ;3. construire des indicateurs pédagogiquement interprétables, capables de caractériser la cohérence entre ce que l'apprenant devait percevoir, ce qu'il a effectivement regardé, ce qu'il a réalisé et ce qu'il verbalise lors du débriefing ;4. concevoir une logique d'adaptation du débriefing en fonction du niveau d'expertise, des erreurs récurrentes, des objectifs du scénario et de la progression observée ;5. concevoir une interface immersive de débriefing fondée sur un rejeu annoté et sur un agent incarné de type co-pilote formateur, chargé de guider l'auto-analyse sans se substituer au raisonnement de l'apprenant ;6. garantir l'explicabilité et l'appropriabilité du système, en privilégiant des règles expertes, des heuristiques documentées et des indicateurs traçables plutôt qu'un dispositif opaque ;7. évaluer empiriquement l'effet du dispositif sur la compréhension des erreurs, la qualité des auto-explications, la performance, la charge cognitive, l'utilisabilité, l'acceptabilité et l'engagement. La méthodologie combinera une démarche de conception centrée utilisateur, une instrumentation de simulateur XR, une modélisation des traces multimodales, une approche explicable de l'adaptation et une évaluation expérimentale.La première phase consistera à établir un état de l'art structuré sur cinq axes : débriefing en simulation et apprentissage expérientiel ; débriefing immersif et méthodes record/replay/redo ; learning analytics multimodal ; eye-tracking en réalité virtuelle et différences novices/experts ; formation adaptative, agents incarnés et explicabilité. Cette phase sera complétée par une analyse de l'activité de formation aéronautique avec le partenaire industriel : scénarios cibles, objectifs pédagogiques, événements critiques, erreurs typiques, informations visuelles attendues et critères d'évaluation.La deuxième phase portera sur l'instrumentation du système existant. Il s'agira de définir un schéma de traces temporellement synchronisées associant actions, interactions, événements du scénario, états du simulateur, zones d'intérêt visuelles, données de regard, erreurs détectées et verbalisations de l'apprenant. Cette phase inclura la segmentation de l'activité en épisodes pertinents, la qualification sémantique des événements et la constitution de jeux de données expérimentaux exploitables.La troisième phase sera consacrée à la construction d'indicateurs pédagogiques. Ces indicateurs devront être interprétables par des formateurs, des concepteurs de scénarios et des apprenants : cohérence regard-action, délai de réaction à un événement critique, omission ou consultation tardive d'une information, répétition d'une erreur, divergence entre action réalisée et justification verbalisée, progression entre sessions. Les indicateurs seront conçus comme des objets explicables, associés à leurs sources de données, à leurs règles de calcul et à leur signification pédagogique.La quatrième phase concernera la conception du débriefing adaptatif. Des règles expertes et heuristiques permettront de sélectionner les épisodes à rejouer, de hiérarchiser les informations, d'ajuster le niveau de détail, de choisir les questions posées par l'agent co-pilote et d'adapter l'accompagnement au profil de l'apprenant. L'agent incarné aura pour fonction de soutenir l'auto-explication : attirer l'attention sur un événement, demander une justification, comparer une stratégie à une procédure attendue ou inviter l'apprenant à reformuler sa décision.La cinquième phase portera sur l'évaluation. Des études pilotes puis expérimentales compareront différentes modalités de débriefing, par exemple un retour classique, un rejeu non adaptatif et un débriefing immersif adaptatif. Les mesures combineront indicateurs objectifs de performance, analyse des erreurs, qualité des verbalisations, questionnaires d'utilisabilité et de charge cognitive, acceptabilité, engagement et entretiens semi-directifs. L'analyse articulera méthodes quantitatives et qualitatives afin d'évaluer à la fois l'efficacité pédagogique, la robustesse technique et l'appropriation par les utilisateurs.

Le candidat ou la candidate devra être titulaire d'un master 2 recherche, d'un master en informatique ou d'un diplôme d'ingénieur, avec une orientation vers la réalité virtuelle, l'interaction humain-machine, les systèmes interactifs, l'intelligence artificielle ou l'analyse de données. Des compétences solides en programmation sont attendues, idéalement en C# et Unity3D ; une expérience avec Unreal Engine, les architectures de simulation, les environnements XR ou l'eye-tracking sera appréciée. Le sujet requiert un intérêt marqué pour l'analyse de l'activité humaine, les traces multimodales, les interfaces adaptatives, les agents incarnés et l'intelligence artificielle explicable. La capacité à conduire une démarche de recherche complète est indispensable : état de l'art, formalisation, prototypage, protocole utilisateur, analyse quantitative et qualitative, rédaction scientifique. Qualités attendues : rigueur, autonomie, capacité de synthèse, goût pour le développement expérimental, sensibilité aux contraintes industrielles et aptitude à communiquer en français et en anglais.

• Capacité à synthétiser
• Programmation
• Anglais
• Intelligence artificielle
• Autonomie
• Analyse de données
• Français
• C#
• Réalité virtuelle