Thèse Application du Few Shot Learning pour la Détection de Pigments dans les Oevres d'Art H/F - Doctorat.Gouv.Fr

Établissement : Université Paris-Saclay GS Informatique et sciences du numérique École doctorale : Sciences et Technologies de l'Information et de la Communication Laboratoire de recherche : Laboratoire des Signaux et Systèmes Direction de la thèse : Aurélia FRAYSSE ORCID 000900012288894X Début de la thèse : 2026-10-01 Date limite de candidature : 2026-06-01T23:59:59 Dans le cadre de la conservation des peintures ou des photographies anciennes, la connaissance des pigments utilisés lors de la création de l'oeuvre est primordiale pour déterminer comment ceux-ci vieillissent et comment restaurer les oeuvres. Afin de caractériser au mieux les différents pigments utilisés à travers les âges, la méthode utilisée actuellement s'appuie sur plusieurs techniques dont de la spectrophotométrie de réflectance qui va de l'Ultra Violet à l'Infra-Rouge, de la spectrométrie Raman, la spectrométrie XRF de fluorescence sous rayons X qui permettent de caractériser le spectre des pigments. Les méthodes sans contact et sans prélèvement qui assurent une réponse rapide sont la XRF qui offre la possibilité d'obtenir une cartographie des éléments chimiques non organiques, comme le chrome (Cr), le plomb (Pb), le fer (Fe), et bien d'autres et l'imagerie hyperspectrale qui enregistre la réponse optique des matériaux à la lumière. En effet, la conjonction des informations hyperspectrales et XRF permettent de mieux orienter la détection des pigments puisque ces deux informations sont complémentaires. Chaque technique ayant ses incertitudes, leur conjonction permet d'orienter vers les matériaux en présence.
Plusieurs bases de données d'images des pigments sont mises à disposition, cependant ces diverses bases ont peu de données, souvent des images reconstruites moins informatives que l'ensemble du spectre et surtout peu de données labellisées. De plus, les données labellisées le sont en général sur un seul pigment et pas sur des mélanges. Or ce sont ces mélanges que l'on retrouve le plus fréquemment dans les oeuvres d'art.
La question qui se pose alors est comment retrouver ces pigments dans les oeuvres d'art existantes et comment utiliser cette information pour en mesurer le comportement dans le temps. En effet, trouver les pigments utilisés permet d'une part que les restaurateurs respectent la législation en ne mettant pas les mêmes pigments, et d'autre part de définir des corpus qui serviront ensuite à authentifier des oeuvres inconnues.
Méthodologiquement, il s'agit d'un problème de segmentation multi-classes et/ou de détection des pigments en chaque pixel de l'image. La détection peut être abordée par des techniques d'apprentissage automatique semi-supervisé, ou non supervisé si on ne connaît pas les spectres des pigments avec potentiellement des déséquilibres entre les classes puisque, selon les artistes, certains pigments peuvent être utilisés plus rarement que d'autres. Par ailleurs, dans le domaine du patrimoine, les bases de données étant petites, l'apprentissage correspond à du few shot learning.
L'objectif de cette thèse est d'étudier et de développer des méthodes d'apprentissage automatique semi-supervisé ou non-supervisé pour la détection de pigments dans les oeuvres d'art.
Dans un premier temps, le travail se focalisera sur les technologies XRF et hyperspectrale. Ces données sont très bruitées avec un bruit s'apparentant à
du speckle difficile à filtrer.
Nous proposons alors de nous appuyer sur des approches semi-supervisées où seulement un petit nombre de pixels non ambigus sont étiquetés en amont. L'étiquetage des autres pixels des images du dataset d'entraînement se fait alors en affectant des pseudo-labels estimés par prédiction.
L'évaluation des méthodes sera faite d'une part par l'étude classique des performances mais aussi par leur robustesse par rapport à la taille des bases de données et aux caractéristiques du bruit. Dans le cadre de la conservation des peintures ou des photographies anciennes, la connaissance des pigments utilisés lors de la création de l'oeuvre est primordiale pour déterminer comment ceux-ci vieillissent et comment restaurer les oeuvres. Afin de caractériser au mieux les différents pigments utilisés à travers les âges, la méthode utilisée actuellement s'appuie sur plusieurs techniques dont de la spectrophotométrie de réflectance qui va de l'Ultra Violet à l'Infra-Rouge, de la spectrométrie Raman, la spectrométrie XRF de fluorescence sous rayons X qui permettent de caractériser le spectre des pigments.
Les méthodes sans contact et sans prélèvement qui assurent une réponse rapide sont la XRF qui offre la possibilité d'obtenir une cartographie des éléments chimiques non organiques, comme le chrome (Cr), le plomb (Pb), le fer (Fe), et bien d'autres, et l'imagerie hyperspectrale qui enregistre la réponse optique des matériaux à la lumière. En effet, la conjonction des informations hyperspectrales et XRF permettent de mieux orienter la détection des pigments puisque ces deux informations sont complémentaires. Chaque technique ayant ses incertitudes, leur conjonction permet d'orienter vers les matériaux en présence.
Plusieurs bases de données d'images des pigments sont mises à disposition, en particulier des images hyperspectrales.
Cependant ces diverses bases ont peu de données, souvent des images reconstruites moins informatives que l'ensemble du spectre et surtout peu de données labellisées. De plus, les données labellisées le sont en général sur un seul pigment et pas sur des mélanges. Or ce sont ces mélanges que l'on retrouve le plus fréquemment dans les oeuvres d'art.
La question qui se pose alors est comment retrouver ces pigments dans les oeuvres d'art existantes et comment utiliser cette information pour en mesurer le comportement dans le temps. En effet, trouver les pigments utilisés permet d'une part que les restaurateurs respectent la législation en ne mettant pas les mêmes pigments, et d'autre part de définir des corpus qui serviront ensuite à authentifier des oeuvres inconnues.
L'objectif de la thèse est de développer des méthodes semi-supervisées, en particulier basées sur des prédicteurs de Venn pour identifier des pigments à l'aide de ces deux techniques d'imagerie. L'objectif de cette thèse est de développer des méthodes de reconstruction semi-supervisées adaptées à la détection de pigments dans des mélanges. Elle s'appuie sur des techniques d'apprentissage profond.

Le ou la candidat.e devra posséder de solides connaissances en mathématiques, apprentissage par réseaux de neurones mais également en traitement d'image.