Thèse Algorithmes Stochastiques et Échantillonnage dans des Paysages Non Lisses Structurés H/F - 75

Établissement : Institut Polytechnique de Paris Télécom SudParis
École doctorale : Mathématiques Hadamard
Laboratoire de recherche : SAMOVAR - Services répartis, Architectures, Modélisation, Validation, Administration des Réseaux
Direction de la thèse : Randal DOUC ORCID 0000000339109495
Début de la thèse : 2026-10-01
Date limite de candidature : 2026-04-30T23:59:59

Les méthodes d'optimisation et d'échantillonnage stochastiques jouent un rôle central en apprentissage automatique et en intelligence artificielle. Des algorithmes simples comme la descente de gradient stochastique (SGD) permettent d'entraîner efficacement des modèles comportant un très grand nombre de paramètres. Malgré leur succès empirique, leur compréhension théorique reste encore partielle, notamment dans les régimes non convexes et sur-paramétrés caractéristiques de l'apprentissage profond.

Dans de nombreuses applications, les fonctions objectif ne sont pas lisses et présentent des singularités non différentiables, par exemple en raison de fonctions d'activation comme ReLU, d'opérations de max-pooling ou de régularisations de type L1. Ces singularités ne sont toutefois pas arbitraires : elles possèdent souvent une structure géométrique riche, notamment dans le cas de fonctions semi-algébriques, lisses par morceaux et admettant des stratifications.

Cette thèse vise à étudier la dynamique des algorithmes stochastiques dans ces paysages non lisses mais structurés. Le projet se situe à l'interface entre géométrie, analyse des algorithmes stochastiques et apprentissage automatique. Trois axes seront explorés : l'étude des vitesses de convergence et de l'évitement des points critiques indésirables pour des méthodes stochastiques avec inertie (Adam, RMSProp) ; l'analyse de méthodes d'échantillonnage de type Langevin dans des paysages non lisses ; et l'identification de nouvelles structures géométriques permettant d'obtenir des garanties de convergence quantitative dans des modèles sur-paramétrés.

L'optimisation stochastique est au coeur de l'apprentissage automatique moderne, où elle permet d'entraîner des modèles fortement sur-paramétrés. Dans de nombreux problèmes, les fonctions objectif sont cependant non lisses tout en possédant une structure géométrique riche, par exemple sous forme de paysages stratifiés. Comprendre et exploiter la structure géométrique de ces paysages afin d'analyser le comportement des algorithmes d'optimisation et d'échantillonnage constitue un enjeu théorique important à l'interface entre mathématiques appliquées et apprentissage automatique.

L'objectif de cette thèse est d'analyser d'analyser la dynamique d'algorithmes stochastiques dans des paysages d'optimisation non lisses structurés, tels que ceux rencontrés dans de nombreux modèles modernes d'apprentissage automatique. Le projet vise à comprendre comment la géométrie des singularités influence le comportement des algorithmes d'optimisation et d'échantillonnage, notamment les algorithmes inertiels stochastiques et les méthodes de type Langevin. À terme, il s'agira de développer de nouveaux cadres géométriques permettant d'obtenir des garanties de convergence quantitatives pour ces algorithmes dans des contextes non différentiables, ainsi que de proposer et d'analyser de nouvelles méthodes exploitant ces structures.

La thèse combinera des analyses théoriques et l'étude de modèles représentatifs issus de l'apprentissage automatique. L'objectif sera de comprendre comment la structure géométrique de certains paysages d'optimisation influence la dynamique d'algorithmes stochastiques, notamment les méthodes d'optimisation et d'échantillonnage. Les résultats théoriques seront mis en perspective avec les approches existantes dans la littérature et pourront être complétés par des expérimentations numériques visant à illustrer et à évaluer les phénomènes étudiés.