Thèse Comment Traiter des Flux Vidéo d'Une Caméra Événementielle avec des Réseaux de Neurones à Spikes H/F - Doctorat.Gouv.Fr

Établissement : CY Cergy Paris Université École doctorale : ED EM2PSI - Économie, Management, Mathématiques, Physique et Sciences Informatiques Laboratoire de recherche : ETIS - Equipes Traitement de l'Information et Systèmes Direction de la thèse : Mathias QUOY ORCID 000000033345380X Début de la thèse : 2026-10-01 Date limite de candidature : 2026-09-15T23:59:59 Les modèles actuels récupérant des données de caméras événementielles reconstruisent des images de pixels sur lesquelles peuvent s'appliquer des algorithmes de traitement d'image. Ainsi le caractère asynchrone et événementiel est finalement peu pris en compte. Un modèle reposant sur des réseaux de neurones à spikes permettrait de rester fidèle à la dynamique des entrées et donnerait lieu à des algorithmes novateurs dépassant les chaînes de traitement actuelles. Caméra événementielle
La caméra événementielle est une technologie récente d'acquisition ultra-rapide. Ce capteur est constitué de pixels indépendants qui acquièrent une donnée seulement si un changement de luminosité est détecté par un pixel. Lorsqu'un changement est détecté, la caméra enregistre un événement constitué de la position (x, y) du pixel concerné, l'horodatage t du changement de luminosité, ainsi que la polarité p du changement de luminosité. Cette polarité correspond au fait que la luminosité augmente ou diminue. Ceci permet d'éliminer la redondance des données, seul le mouvement qui est l'information utile est conservé. Si aucun mouvement n'est détecté, aucun événement n'est enregistré. La caméra est asynchrone, ce qui permet de caractériser le mouvement sans flou et de façon très précise temporellement (de l'ordre de la microseconde) puisqu'il y a peu de latences, contrairement aux caméras classiques. Par ailleurs, les pixels étant aysnchrones, il est possible d'enregistrer des prises de vue avec une plage dynamique très élevée.
Ces données très compactes permettent de développer des modèles légers décrivant des phénomènes complexes, tels que l'attention visuelle [Simon Chane et al, 2024].

Réseaux de neurones à spikes
Les modèles de réseaux de neurones se divisent en deux catégories. Ceux qui reposent sur des neurones à fréquence de décharge, et ceux qui reposent sur l'émission de pics de décharge (spikes). La quasi-totalité des modèles récents d'IA repose sur le premier modèle. Il serait cependant très intéressant de développer les modèles d'IA avec des neurones à spikes. Ils ont notamment une empreinte énergétique plus faible car ils ne sont actifs que lorqu'ils traitent des événements. Ce type de neurones est aussi parfaitement adapté au traitement d'événements temporels. Proposer un modèle de réseau de neurones à spikes permettant de traiter les informations d'une caméra événementielle Le travail proposé repose sur la combinaison des compétences acquises par Camille Simon-Chane (ENSEA-ETIS) en traitement des données issues de caméras événementielles et par Mathias Quoy (CYU-ETIS) en modèles computationnels de neurones à spikes.
Le but est de former des mémoires dynamiques dans un réseau de neurones à spikes [Bergoin et al., 2025] à partir des entrées d'une caméra événementielle. En effet, nous avons montré que les neurones inhibiteurs étaient cruciaux pour la formation de clusters de neurones actifs déchargeant de manière synchrone en présence d'une entrée apprise. Nous avons aussi montré que nous pouvions maintenir l'apprentissage tout au long de l'expérience, supprimant alors l'artificielle séparation entre une phase d'apprentissage et une phase d'utilisation.

IA, réseaux de neurones, traitement d'images
Programmation Python