Thèse Résolution Fine des Conflits de Connaissances dans les Grands Modèles de Langage Basée sur les Graphes de Connaissances H/F - Doctorat.Gouv.Fr

Établissement : Institut Polytechnique de Paris Télécom Paris École doctorale : Ecole Doctorale de l'Institut Polytechnique de Paris Laboratoire de recherche : Laboratoire de Traitement et Communication de l'Information Direction de la thèse : Vadim MALVONE ORCID 0000000161384229 Début de la thèse : 2026-10-01 Date limite de candidature : 2026-08-31T23:59:59 Les grands modèles de langage (Large Language Models, LLMs) ont atteint des performances remarquables dans de nombreuses tâches de traitement du langage naturel et intensives en connaissances, telles que la réponse aux questions, la synthèse et le raisonnement. Toutefois, ils restent sujets à des erreurs dues aux incohérences, à l'incomplétude ou aux contradictions présentes dans leurs données d'entraînement à grande échelle issues du Web. En outre, leur connaissance majoritairement statique limite les mises à jour continues, entraînant des informations obsolètes ou temporellement désalignées. Ces limitations donnent lieu à des conflits de connaissances, qui nuisent à la fiabilité, à la précision et à l'explicabilité des modèles.

Les conflits de connaissances peuvent être classés en trois catégories : les connaissances statiques, correspondant à des faits généralement fixes ; les connaissances temporelles, qui évoluent dans le temps ; et les connaissances disputées, dépendantes des définitions, des jeux de données ou des points de vue. Ils peuvent également être distingués selon leur origine : les conflits intra-mémoire apparaissent au sein des données d'entraînement, les conflits entre mémoire et contexte résultent de contradictions entre les requêtes et les connaissances internes du modèle, et les conflits inter-contextes émergent lors de l'intégration de sources externes telles que les graphes de connaissances (Knowledge Graphs, KGs).

Des travaux récents ont commencé à traiter ces problématiques à travers des benchmarks et taxonomies (par exemple DynamicQA, WhoQA et ConflictBank) ainsi que des méthodes d'édition des connaissances permettant de mettre à jour les LLMs sans réentraînement complet. Néanmoins, ces approches ne distinguent pas systématiquement les différents types de conflits, ce qui limite la précision et la fiabilité des mises à jour.

Cette thèse propose un cadre en deux phases pour identifier et résoudre de manière systématique les conflits de connaissances dans les LLMs, dans une perspective d'apprentissage continu. La première phase est dédiée à la détection et à la validation des conflits. Les sorties des LLMs seront analysées à l'aide de sollicitations contrôlées, de décomposition des faits, de détection de contradictions et de génération augmentée par récupération (Retrieval-Augmented Generation, RAG) fondée sur des graphes de connaissances. Des techniques telles que la perturbation des prompts, la vérification au niveau des affirmations et le raisonnement par chaînes de pensée seront utilisées pour évaluer la cohérence intra-modèle, identifier les hallucinations et catégoriser les conflits. Des stratégies de red teaming permettront également de mettre en évidence des contradictions et des faiblesses épistémiques.

La seconde phase porte sur la résolution des conflits par l'édition des connaissances. Les connaissances validées issues des graphes de connaissances seront intégrées dans les LLMs à l'aide de méthodes d'édition ciblées, telles que le paradigme « forgetting-before-learning », permettant de supprimer des informations erronées, d'intégrer des faits mis à jour et d'incorporer des connaissances temporelles sans oubli catastrophique. Des critères décisionnels seront définis afin de déterminer quand une récupération dynamique via RAG est suffisante et quand une mise à jour permanente du modèle est préférable. L'approche sera enfin évaluée sur des tâches applicatives, telles que l'expansion de taxonomies et l'analyse de textes historiques, afin d'améliorer la robustesse et la fiabilité des LLMs dans des environnements dynamiques. Large Language Models (LLMs) have demonstrated remarkable performance across a wide range of Natural Language Processing (NLP) and knowledge-intensive tasks, including question answering, summarization, and reasoning. Despite these successes, LLMs are far from perfect because they are trained on vast collections of web-scale text, their training data often contains inconsistent, incomplete, or contradictory information. Furthermore, most LLMs lack efficient mechanisms for continual updating, causing them to rely on outdated or temporally misaligned knowledge. These issues collectively give rise to knowledge conflicts [1] within LLMs, where the model struggles to reconcile conflicting facts, temporal changes, or contextual assumptions, ultimately impacting reliability and trustworthiness. One source of conflict is static knowledge, where a fact is generally fixed, such as identifying George H. W. Bush as the father of George W. Bush. In contrast, temporal knowledge depends on time, meaning that the same question can have different correct answers depending on the historical context. For example, Rome was the capital of the Roman Empire in AD 117, but it is the capital of Italy in 2024, similar to the identity of the U.S. president which changes over time. A third source is disputability, where answers vary based on definitions, datasets, or perspectives rather than time, such as whether lactose intolerance most commonly affects Europeans or Asians, which depends on how prevalence is measured and compared. These differing knowledge types create inherent tensions for LLMs, which must reconcile fixed facts, time-sensitive truths, and contested claims within a single response framework. These knowledge conflicts can be further categorized based on where the contradiction originates. Intra-memory conflict arises when the training data itself contains multiple, inconsistent representations of the same fact, leading to uncertainty and instability in a language model's internal knowledge. For example, differing sources in the data may assert incompatible answers to the same question. In contrast, context-memory conflict occurs when the information provided in the prompt or surrounding context contradicts the model's parametric (stored) knowledge, such as when a user specifies a time period or assumption that differs from the model's default understanding. Inter-context Conflict manifest in LLMs when incorporating external information sources. Together, these conflict types highlight the challenges language models face in reconciling learned knowledge with contextual cues during inference. Analysis and identification of knowledge conflicts is still one of the under explored areas of research and has not yet been applied to any specific downstream tasks. Knowledge editing [2] has recently attracted research interest as a successful way to update LLMs without requiring a computationally-expensive full retraining. It performs knowledge editing in three ways: (1) External Memorization (external memory represented by additional trainable parameters), (2) Global Optimization (fine-tuning), (3) Localization (localize and edit). This thesis will be structured in two phases. In the first phase, the focus will be focused on analysing the knowledge conflicts by validating the output of LLMs. This will be done by perturbing the prompts as well using red teaming [3]. Particular attention will be given in assessing the reasoning capabilities of LLMs (e.g. using Chain of Thoughts), using a Knowledge Graph (KG) [4] as a reference. The expected outcomes of this phase include the validation of the output, identifying conflicting or erroneous answers (such as hallucinations) leading to an improvement in the explainability of the answers. This analysis will then be compared with the knowledge conflicts within Retrieval-Augmented Generation (RAG) systems. Existing Knowledge Editing systems do not differentiate between specific types of conflicts (mentioned previously). These methods rather introduce generic methodologies which apply to any kind of conflicts. In the second phase of this thesis, we will leverage the corrected triples from a KG to enhance the LLM through a Knowledge Editing process. Specifically, we will introduce mechanism to deal with different types of knowledge conflicts, i.e., using F-learning (forgetting before learning) for misinformation or erroneous static knowledge and continual learning with the help of dynamic knowledge graph representations for temporal inconsistencies. Additionally, we will develop criteria to determine when it is more appropriate to use RAG to dynamically retrieve external knowledge during inference, and when to update the LLM directly with the new knowledge from the KG for long-term improvements. Based on the previous scientific context, following are the three main objectives:

O1: Identifying Knowledge Conflicts. Systematically detect and categorize static, temporal, and disputable knowledge conflicts in LLM outputs by comparing them against KGs and study the usefulness of RAG-based baselines.

O2: Knowledge Editing without Retraining. Efficiently resolve identified knowledge conflicts by integrating KG updates into LLMs using lightweight knowledge editing techniques instead of full retraining.

O3: Downstream Tasks. Apply and evaluate the proposed conflict detection and knowledge editing framework for the downstream task of taxonomy refinement as well as application to the historical text in cultural heritage domain.

Compétences et qualifications requises :

- Master en informatique, en traitement automatique des langues, en intelligence artificielle ou dans un domaine connexe.

- Solide formation en informatique et/ou en mathématiques, avec un accent sur l'apprentissage automatique, l'apprentissage profond et les modèles de langage.

- Excellentes compétences en programmation et expérience en développement logiciel.

- Maîtrise de l'anglais écrit et oral.

- Curiosité, motivation et capacité à explorer de nouvelles directions de recherche, en particulier à l'intersection de l'IA symbolique et subsymbolique.

Compétences supplémentaires souhaitées :

- Intérêt pour les grands modèles de langage, l'apprentissage de représentations de graphes, la fouille de graphes et l'apprentissage profond.

- Ouverture aux approches interdisciplinaires et à la recherche collaborative.