Thèse Reproductibilité de Résultats Scientifiques en Héliophysique au Moyen de Modèles de Langue H/F - Doctorat.Gouv.Fr

Établissement : Observatoire de Paris École doctorale : Astronomie et Astrophysique d'Ile de France Laboratoire de recherche : Laboratoire d'Instrumentation et de Recherche en Astrophysique Direction de la thèse : Baptiste CECCONI ORCID 0000000179155571 Début de la thèse : 2026-10-01 Date limite de candidature : 2026-07-15T23:59:59 L'héliophysique (HP), branche de l'astrophysique étudiant le Soleil, ses interactions planétaires et la météorologie spatiale, repose aujourd'hui sur des recherches axées données. Les chaînes de traitement produisent séries temporelles, images ou spectres depuis des observations instrumentales ou des modélisations numériques. La communauté utilise des centres de données comme le CDPP, appliquant métadonnées et formats normalisés pour faciliter l'accès et la reproductibilité.Cette thèse explore la reproductibilité des chaînes de traitement via les grands modèles de langage (LLM) afin de reproduire des résultats publiés.Starace et al. (2025) indiquent que les LLM atteignent 21 % de taux de reproductibilité avec Claude 3.5 Sonnet. La capacité générative des LLM, notamment ChatGPT, suscite des débats en astronomie. PyHC-chat tente d'adapter GPT aux héliophysiciens en intégrant bibliothèques et endpoints du cadre PyHC pour aider à coder. Cependant, cet outil ne reproduit pas intégralement les workflows expérimentaux des articles et demande adaptation.Lorsqu'on aborde la question de la reproductibilité des expériences de traitement de données en héliophysique, trois grandes questions de recherche se posent :1. Dans un article scientifique donné, quels termes, illustrations ou ressources citées sont indispensables pour reproduire la chaîne de calcul d'origine, et comment les extraire efficacement ?2. Comment un modèle peut-il transformer ces éléments extraits en code exécutable produisant des résultats comparables à ceux rapportés dans l'étude d'origine ?3. Comment évaluer et interpréter de manière pertinente le taux de reproductibilité des LLM ?A. Extraction des donnéesCette thèse s'appuie sur BibHelioTech (développé par l'équipe CDPP), qui extrait des métadonnées des articles utilisant diverses techniques basées sur des règles qui sont insuffisantes pour reproduire les flux de travail scientifiques, car elles s'appuient sur des modèles prédéfinis et ne parviennent pas à capturer des informations contextuelles telles que les descriptions de traitement des données ou les formules mathématiques. En revanche, la combinaison des LLM avec la vision par ordinateur fournit un cadre plus flexible pour comprendre et reproduire les pipelines de calcul décrits dans un article.B. Génération de codeLa reproduction des flux de travail de traitement des données reposera sur un modèle GPT capable de générer du code exécutable. Il s'appuiera sur des techniques similaires à celles utilisées dans le chat PyHC susmentionné, fournissant au modèle génératif des bibliothèques HP et des points de terminaison de données, tout en envisageant le réglage fin des modèles de langage.C. EvaluationCette phase consiste à évaluer le code généré par LLM en comparant ses tracés de sortie avec ceux présentés dans l'article original. D'autres indicateurs de reproductibilité seront très instructifs lors de l'interprétation du taux de reproduction du LLM.Impact scientifiqueCette thèse vise à sensibiliser la communauté HP et, au-delà, à la question de la reproductibilité des pipelines. Une enquête sera menée afin d'étudier les pratiques des chercheurs en matière de reproduction d'expériences issues d'articles publiés, ainsi que la manière dont ils prennent en compte la reproductibilité au cours du processus de rédaction. Ce travail permettra également d'améliorer la qualité des données issues des référentiels HP (tels que le CDPP et les autres référentiels associés) et de vérifier la cohérence des ensembles de données avec les publications. Le comité des utilisateurs du CDPP participera à l'évaluation de la valeur ajoutée de ces travaux.Impact environnementalCompte tenu des coûts élevés en termes de ressources informatiques et d'énergie liés aux grands modèles de langage (LLM), ces travaux se concentreront sur des modèles plus petits et spécialisés dans un domaine particulier. La plupart des recherches en HP sont axées sur les données, avec des chaînes de traitement qui produisent des séries chronologiques, des images, des spectres, etc., à partir d'observations recueillies par un ou plusieurs instruments, ou d'expériences numériques. La capacité générative des grands modèles de langage, en particulier ChatGPT, fait l'objet de débats au sein de la communauté astronomique. Une initiative récente, PyHC-chat, a tenté d'adapter les modèles GPT en fournissant des bibliothèques de code et des points de terminaison de données pertinents issus du cadre PyHC afin d'aider les héliophysiciens à écrire du code. Cependant, cet outil n'est pas conçu pour reproduire intégralement les flux de travail expérimentaux décrits dans les articles scientifiques ; il nécessite donc un certain effort d'adaptation à notre application. A. Extraction des donnéesCette thèse s'appuie sur BibHelioTech, qui extrait des métadonnées d'articles scientifiques à l'aide de diverses techniques fondées sur des règles. Ces techniques s'avèrent toutefois insuffisantes pour reproduire les flux de travail scientifiques, car elles s'appuient sur des modèles prédéfinis et ne parviennent pas à saisir les informations contextuelles telles que les descriptions du traitement des données ou les formules mathématiques. En revanche, l'association des modèles de langage de grande envergure (LLM) à la vision par ordinateur offre un cadre plus flexible pour comprendre et reproduire les pipelines de calcul décrits dans un article.B. Génération de codeLa reproduction des flux de traitement des données s'appuiera sur un modèle GPT capable de générer du code exécutable. Elle s'appuiera sur des techniques similaires à celles utilisées dans le PyHC-chat mentionné plus haut, en fournissant au modèle génératif les bibliothèques HP et les points de terminaison de données, tout en tenant compte du réglage fin des modèles linguistiques.C. ÉvaluationCette étape consiste à évaluer le code généré par le LLM en comparant les graphiques obtenus à ceux présentés dans l'article original. D'autres indicateurs de reproductibilité fourniront des informations précieuses pour interpréter le taux de reproductibilité du LLM. Première année- Constitution de l'état de l'art- Constitution et annotation de corpus depuis les bases de connaissances de la communauté- Affinage de modèles de langue pour la reconnaissance d'entités nommées- Utilisation de modèles de vision par ordinateur pour extraire les informations des diagrammes et formules mathématiquesDeuxième année- Poursuite de l'état de l'art- Identification des librairies et des jeux de données utilisés par les chercheurs et les fournisseurs de données- Utilisation de LLM affinés pour générer du code informatique à partir des articles scientifiques et des resources en héliophysique pertinentes- Développement d'algorithmes pour comparer les résultats rapportés dans la littérature avec ceux obtenus par les modèles de langue employésTroisième année- Comparaison des indicateurs de reproductibilité avec les résultats obtenus- Évaluation avec des utilisateurs des centres de données- Rédaction du manuscrit et soutenance de thèse

Master en traitement automatique des langues (TAL) ou master en informatique avec de solides compétences en TAL.Des connaissances en astronomie ou en héliophysique constituent un atout.

• Gestion des données
• Intelligence artificielle