Thèse Vers une Vision Unifiée du Transport Optimal et des Modèles de Flots H/F - 75

Établissement : Institut Polytechnique de Paris École polytechnique
École doctorale : Mathématiques Hadamard
Laboratoire de recherche : CMAP - Centre de Mathématiques appliquées
Direction de la thèse : Alain DURMUS
Début de la thèse : 2026-10-01
Date limite de candidature : 2026-04-27T23:59:59

Ce sujet de thèse vise à développer un cadre théorique et algorithmique unifié reliant le transport optimal et le flow matching pour les modèles génératifs. En partant des modèles de diffusion et de leurs extensions (interpolants stochastiques/modèles de flots), il vise à étudier l'impact du choix de la distribution de base (prior) et des dynamiques d'interpolation/corruption (chemins de probabilité) sur la stabilité de l'apprentissage, l'efficacité statistique et la qualité des échantillons. L'objectif est de dépasser l'apprentissage d'un champ de vitesse le long d'un chemin fixé, pour aller vers l'apprentissage du chemin lui-même, guidé par des principes d'optimalité issus du transport optimal et de la théorie de l'information (flots de gradient de Wasserstein, géodésiques Fisher-Rao / Optimal Information Transport). Le projet étend aussi ces idées à la génération discrète via des chaînes de Markov en temps continu à matrices de taux apprenables, ainsi qu'à des représentations continues de données discrètes (one-hot, embeddings apprenables, espaces hybrides) afin de réduire le coût d'inférence tout en conservant la fidélité et les dépendances entre tokens.

Les modèles génératifs par diffusion reposent sur l'idée de transformer progressivement une distribution de données complexe en une distribution de référence simple, généralement gaussienne, puis d'inverser cette transformation pour générer de nouveaux échantillons. La dynamique inverse dépend de fonctions de score, de sorte qu'une étape centrale consiste à estimer ces scores, le plus souvent via le score matching débruitant.

Plus récemment, les approches de flow matching et de stochastic interpolants évitent de construire explicitement une diffusion de corruption. Elles s'appuient plutôt sur une interpolation, ou chemin de probabilité, qui relie directement la distribution de base à la distribution des données. Ce chemin définit des distributions intermédiaires et un champ de vitesse dépendant du temps. Le flow matching apprend ce champ de vitesse par régression, puis génère des échantillons en intégrant une équation différentielle ordinaire pilotée par ce champ appris. Pour les données discrètes, la même idée est mise en oeuvre à l'aide d'une chaîne de Markov en temps continu, dont la matrice de taux est choisie de manière à ce que les marginales temporelles suivent l'interpolation prescrite.

Un problème central est de comprendre comment le choix de l'interpolation et de la distribution de base influence les performances, et comment ces méthodes se relient au transport optimal. Les flots induits ne correspondent généralement pas à des plans de transport optimaux, et il n'est pas clair quels principes d'optimalité - fondés sur le transport ou sur l'information - sont les plus pertinents pour la génération. Ces questions sont en outre compliquées par l'expressivité limitée et les biais inductifs des réseaux de neurones, qui peuvent rendre difficiles à approximer certains champs de vitesse théoriquement optimaux et affecter la généralisation. Les méthodes de flow matching peuvent aussi être vues sous un angle variationnel ou via des générateurs infinitésimaux, mais il reste incertain dans quelle mesure ces points de vue se traduisent par des améliorations concrètes, notamment au regard du coût d'inférence élevé et du besoin de méthodes d'échantillonnage plus rapides. Cette thèse vise à aborder ces questions en rapprochant flow matching et transport optimal, afin de concevoir des modèles génératifs plus efficaces et plus scalables.

Cf sujet de thèse