Thèse Conception d'Un Module de Débriefing Immersif Collaboratif Augmenté par l'IA pour Simulateurs Multi-Utilisateurs en Réalité Virtuelle Analyse Multimodale et Épistémique des Interactions d'Éq H/F - Doctorat.Gouv.Fr

Établissement : Université Paris-Saclay GS Informatique et sciences du numérique École doctorale : Sciences et Technologies de l'Information et de la Communication Laboratoire de recherche : IBISC - Informatique, BioInformatique, Systèmes Complexes Direction de la thèse : Samir OTMANE ORCID 0000000322214264 Début de la thèse : 2027-09-06 Date limite de candidature : 2026-11-06T23:59:59 En formation par simulation, le débriefing est une phase essentielle à l'apprentissage. Pourtant, dans les simulateurs de réalité virtuelle (RV) multi-utilisateurs, le débriefing reste centré sur un apprenant et sur sa performance : la façon dont l'équipe a communiqué, s'est coordonnée et a justifié ses décisions est rarement analysée. Cette thèse, codirigée entre l'Université Ferhat Abbas Sétif 1 et le laboratoire IBISC (Université d'Évry Paris-Saclay), vise à concevoir un module de débriefing immersif collaboratif augmenté par l'IA. Les traces de chaque équipier (parole, regard, gestes, actions) sont fusionnées puis analysées par l'analyse de réseaux épistémiques (ENA) de Shaffer, automatisée grâce au codage des échanges par des grands modèles de langage (LLM). Le profil épistémique de l'équipe guide ensuite le débriefing en RV (moments à rejouer, questions ciblant les liens absents), sous le contrôle du formateur. Un premier pipeline de traitement de la parole a été prototypé et évalué ; le séjour en France permettra d'intégrer ces modèles à l'outil de débriefing immersif ReVeRSe d'IBISC et de les évaluer expérimentalement. Contexte :

La formation en réalité virtuelle doit comprendre une phase de simulation ainsi qu'une phase de débriefing (Piro and O'Callaghan, 2020). La simulation et le débriefing sont deux phases complémentaires et indissociables, en particulier dans les formations en réalité virtuelle. L'importance de l'utilisation du débriefing a été démontrée dans diverses études, telles que la simulation médicale de Savoldelli et al. (Savoldelli et al., 2006), dans laquelle il a été constaté que, sans débriefing, les compétences non techniques des participants ne s'amélioraient pas. Bien que le débriefing soit considéré comme une phase importante de l'apprentissage, peu de travaux détaillent l'approche pédagogique, le matériel, les participants ainsi que les données. Malgré la diversité des simulateurs, les méthodes de débriefing utilisées (Sawyer et al., 2016) sont le plus souvent réalisées avec peu de supports, voire uniquement verbalement.

Les simulateurs immersifs sont de plus en plus souvent multi-utilisateurs, car beaucoup de compétences visées sont collectives : communication, coordination, décision partagée. Or les outils de débriefing immersif existants, y compris celui développé à IBISC (Minotti et al., 2024 ; Minotti, 2025), sont conçus pour un seul apprenant : ils enregistrent actions, erreurs et temps, et rejouent la simulation. Ce que les équipiers se sont dit, ce qu'ils ont regardé et la façon dont ils ont justifié leurs décisions ne sont ni enregistrés ni analysés.
Deux évolutions rendent cette analyse possible : chaque casque de RV est devenu un objet connecté (microphone, suivi des mains et, de plus en plus, du regard), si bien qu'un simulateur multi-utilisateur forme un petit système IoT dont les flux doivent être synchronisés et traités, de préférence localement (edge) ; et les grands modèles de langage (LLM) permettent d'automatiser la transcription et le codage des échanges, jusqu'ici manuels. Les synthèses récentes sur l'IA dans le débriefing en XR recommandent toutefois un modèle hybride, où l'IA prépare des éléments transparents et où le formateur garde la main (Khan et al., 2026 ; Stocks et al., 2026).
Le projet repose sur la complémentarité des deux équipes : l'Université Ferhat Abbas Sétif 1 apporte son expertise en IA (métaheuristiques, logique floue) appliquée à la composition de services web et IoT sous contraintes de qualité de service (Seghir et Khababa, 2021 ; Khababa, 2025) ; l'équipe IRA² du laboratoire IBISC, la sienne en réalité virtuelle et augmentée collaborative (Otmane, 2010) et en débriefing immersif.
Objectifs scientifiques et techniques :

L'objectif scientifique de ce projet est de proposer de nouveaux modèles de débriefings collaboratifs adaptés aux simulateurs en réalité virtuelle. Il s'agit notamment, d'améliorer de manière significative l'acquisition de compétences collaboratives sans augmenter la surcharge cognitive des apprenants. L'objectif technique est d'assurer un enregistrement optimal des informations du simulateur, tels que les propriétés des objets, les échanges verbaux et non verbaux et de proposer un environnement virtuel collaboratif adapté à une phase de débriefing immersif.

Les travaux de la première année ont précisé ces objectifs autour de l'analyse des interactions de l'équipe :
- Modéliser l'activité collective à partir de traces multimodales fusionnées, en combinant un modèle de performance (ce que l'équipe a fait) et un modèle épistémique fondé sur l'analyse de réseaux épistémiques, ou ENA (comment elle a raisonné : liens entre compétences, connaissances, valeurs, identité et épistémologie ; Shaffer, 2017) ;
- Concevoir un débriefing collaboratif « guidé épistémiquement » : choix des moments à rejouer, questions générées par LLM ciblant les liens absents du réseau, adaptation au fil de la discussion, sous le contrôle du formateur ;
- Évaluer expérimentalement l'effet de ce débriefing sur la collaboration lors de la reprise de la simulation (Redo) et sur la charge cognitive.
Sur le plan technique : étendre le pipeline parole au regard et aux gestes, réaliser la fusion temporelle et le calcul des réseaux ENA, étendre l'outil ReVeRSe d'IBISC (Record, Review, Redo) au multi-utilisateur et orchestrer les services d'IA (local, edge, cloud) pour livrer le débriefing quelques minutes après la simulation, ce qui mobilise l'expertise IoT et qualité de service de Sétif.
Approche / Enjeux / Originalité :

Les étapes de la conception du système suivront une approche itérative centrée sur l'utilisateur : identification d'hypothèses, développement de maquettes, développement de prototypes et évaluation. Le défi majeur de ce sujet de thèse est de fournir aux concepteurs de simulateurs immersifs collaboratifs existants un module de débriefing configurable par le formateur, favorisant le transfert des compétences de l'apprenant.
Cette thèse étendrait ainsi notre approche exploratoire d'un modèle de débriefing immersif mono-utilisateur à une dimension collaborative, la rendant ainsi compatible avec un plus grand nombre de simulateurs existants. Ainsi, un module de débriefing immersif collaboratif apporterait une valeur significative à la fois au processus de conception du simulateur et à l'acquisition des compétences.

Les travaux menés avec l'équipe de Sétif ont abouti à une chaîne en six étapes : simulation multi-utilisateurs, capture (parole, regard, gestes), fusion temporelle, analyse (performance et ENA), profil épistémique de l'équipe, débriefing, puis reprise (Redo). Exemple : dans un scénario d'incendie, un équipier annonce « pièce vide » alors qu'une victime s'y trouve, et son coéquipier acquiesce. Le journal signale l'erreur ; l'analyse des échanges montre pourquoi : l'affirmation a été acceptée sans vérification (lien Inform - Elicit-Inform absent du réseau). Le débriefing rejoue ce moment en 3D partagée, montre que le regard de l'équipier n'a jamais atteint la victime et demande : « Qu'avez-vous vérifié avant de dire pièce vide ? »
L'originalité tient à trois points : (1) l'ENA, habituellement utilisée dans des cas spécifiques par des chercheurs, devient le moteur du débriefing ; (2) l'IA ne remplace pas le formateur : les LLM codent les échanges et formulent des questions contraintes par les preuves (segments rejoués, réseau ENA), donc traçables ; (3) l'effet du débriefing se mesure par l'évolution des réseaux d'interaction entre deux passages. Les enjeux sont la fiabilité du codage automatique, la lisibilité des réseaux, la sécurité psychologique des apprenants et la protection des données vocales (traitement local, RGPD).

Positionnement : positionnement par rapport à l 'état de l'art

Nos premiers travaux sur la phase de débriefing dans les formations en réalité virtuelle (Degand et al., 2021) (Minotti et al., 2023) ont donné lieu à une nouvelle méthode et un nouvel outil de débriefing. L'approche pédagogique choisie comme référence est la méthode la plus couramment utilisée, RAS (Reaction, Analyze and Summarize)(Nicholson et al., 2019). La première phase de ce débriefing permet à l'apprenant d'exprimer ses émotions et de procéder ainsi à une décharge cognitive. La dernière phase permet au formateur de résumer les principales informations à réutiliser dans le monde réel. A l'inverse, la deuxième phase, consacrée à l'analyse des principaux événements de la simulation, nécessite l'utilisation par le formateur de supports visuels, afin que l'apprenant mobilise davantage ses ressources cognitives sur les concepts à découvrir que sur l'effort de recontextualisation de chacun de ces énoncés. L'utilisation de casques de réalité virtuelle lors de cette deuxième phase vise à améliorer la vision des événements, l'engagement et surtout le transfert des compétences.

État d'avancement (première année)
La première année a permis : (i) un état de l'art dégageant quatre limites des débriefings XR actuels (mono-utilisateurs, centrés sur la performance, à structure fixe, faiblement multimodaux) ; (ii) une proposition d'agent de débriefing fondé sur un LLM et la génération augmentée (RAG), dont l'analyse critique a conduit à recentrer la thèse sur un modèle explicite des interactions, l'ENA ; (iii) une architecture en six étapes ; (iv) un prototype de pipeline pour la parole (transcription, segmentation, diarisation, codage en cinq actes de dialogue inspirés du schéma AMI : Inform, Elicit-Inform, Suggest, Assess, Accept/Reject, puis réseau ENA), testé sur une session réelle à trois locuteurs ; (v) une comparaison de trois codeurs sur le corpus AMI (Carletta et al., 2006) : exactitude de 0,75 pour le LLM, contre 0,59 pour un classifieur zero-shot et 0,44 pour des règles, résultat à confirmer face à un codage humain.

Questions de recherche et hypothèses
- QR1. Peut-on obtenir automatiquement, à partir des flux multimodaux de plusieurs apprenants, un codage des interactions assez fiable pour l'ENA ? H1 : après fusion de la parole avec le regard et les gestes, le codage par LLM atteint avec des codeurs experts un accord ( de Cohen) comparable à l'accord entre experts.
- QR2. Les réseaux ENA rendent-ils compte de différences de performance que les seules mesures du simulateur n'expliquent pas ? H2 : les équipes performantes et non performantes se distinguent significativement dans l'espace ENA, notamment par les liens entre information, demande de vérification et évaluation.
- QR3. Un débriefing guidé par le profil ENA améliore-t-il la collaboration ultérieure sans surcharger les apprenants ? H3 : à durée égale, il conduit lors du Redo à une meilleure performance et à des réseaux plus équilibrés qu'un débriefing par simple rejeu, sans hausse de la charge cognitive, notamment lorsque le formateur ne sélectionne que les éléments indispensables.

Doctorante en première année à l'Université de Setif 1 en co-direction depuis 2025-2026 avec Samir OTMANE et Co-encadrement de Guillaume LOUP

• Intelligence artificielle