Research Engineer Perspective-Grounded Spatial Reasoning In Multimodal Large Language Models H/F - INRIA

A propos d'Inria

Inria, l'institut national de recherche dans les sciences et technologies du numérique, est en appui de l'État pour les stratégies nationales de recherche et d'innovation du numérique en tant qu'Agence de programmes. Inria mène plus de 300 projets de recherche et d'innovation avec ses 3500 scientifiques, ingénieurs et personnels d'appui, en partenariat avec les universités et l'écosystème numérique (entreprises, entrepreneurs, acteurs publics). Ensemble, nous explorons des domaines clés comme l'intelligence artificielle, la cybersécurité, l'informatique quantique, le Cloud, la transformation numérique de la santé, les jumeaux numériques ou encore les technologies numériques pour la défense. Nous construisons des solutions concrètes telles que des logiciels, des startups technologiques, des partenariats avec les entreprises du tissu national et des formations de pointe. Notre objectif : l'impact scientifique, technologique et industriel au service de la souveraineté numérique de la France.

Research engineer Perspective-Grounded Spatial Reasoning in Multimodal Large Language Models
Le descriptif de l'offre ci-dessous est en Anglais
Type de contrat : CDD

Niveau de diplôme exigé : Bac +5 ou équivalent

Fonction : Ingénieur scientifique contractuel

Niveau d'expérience souhaité : Jeune diplômé

Mission confiée

Multimodal large language models (MLLMs) remain notably weak at spatial reasoning from video, particularly at
perspective-taking where the model is asked to answer questions from a viewpoint other than the camera's own (e.g.,
identifying what lies to an observer's left from an allocentric frame). Existing approaches largely rely on either naive data augmentation or opaque latent reasoning tokens whose targets are not grounded in real geometry, both of which have known failure modes. This project aims to build a diagnostic benchmark that isolates genuine perspective-taking failures from confounds (e.g., left-right mirroring, temporal-order artifacts), and to develop a spatial reasoning representation that is explicitly grounded in 3D geometric structure via alignment with a pretrained 3D foundation model, rather than relying on self-consistency alone.

Principales activités

Main activities:

Analyse and implement related work.
Design novel innovative solutions.
Write progress reports and papers.
Present work at conferences.

Compétences

Technical skills and level required : programming skills are required.

Languages : English and possibly French.

Relational skills : Good communication skills.

Avantages

- Subsidized meals
- Partial reimbursement of public transport costs
- Leave: 7 weeks of annual leave + 10 extra days off due to RTT (statutory reduction in working hours) + possibility of exceptional leave (sick children, moving home, etc.)
- Possibility of teleworking and flexible organization of working hours
- Professional equipment available (videoconferencing, loan of computer equipment, etc.)
- Social, cultural and sports events and activities
- Access to vocational training
- Social security coverage

• Anglais
• Intelligence artificielle