Productivity Engineer Intern H/F - 75

Le poste :

Yousign recherche, à partir de janvier 2026,un(e) AI Productivity Engineer Intern, pour rejoindre son équipe AI Productivity, directement sous la supervision du AI Productivity Lead Engineer.

Durant ce stage de 6 mois, tu participeras à la mise en oeuvre d'un processus d'évaluation robuste et industrialisé pour nos agents/assistants d'IA de productivité (Dust). Ton périmètre couvrira :

- la définition des critères de qualité,
- la constitution de jeux de tests,
- l'architecture, le développement, le déploiement et l'exploitation continue d'un pipeline d'évaluation.

L'objectif est d'améliorer la qualité, la fiabilité et la mesurabilité des agents utilisés par les équipes, grâce à des indicateurs de performance suivis.

Missions principales :

- Benchmark & étude : Revue des approches d'évaluation (LLM-as-Judge, golden sets, pairwise, human-in-the-loop) ; benchmark d'outils (Dust, LangSmith, OpenAI Evals, plateforme custom) ; définition des critères qualité par type d'agent (exactitude, robustesse, sécurité, coût, latence).
- Conception : Design d'un pipeline d'évaluation reproductible (datasets, orchestration, stockage des runs, traçabilité) ; spécification de l'intégration aux agents Dust et au CI/CD ; schéma des tableaux de bord et alertes (adoption, régressions, SLO qualité).
- Développement : Implémentation d'une plateforme d'évaluation (Python/TypeScript) et des premiers jeux de tests ; intégration LLM-as-Judge et métriques (accuracy, relevance, safety, cost, latency) ; automatisation des campagnes hebdomadaires et versioning des résultats.
- Déploiement : Déploiement du pipeline, des tableaux de bord et des alertes en environnement de production interne ; intégration au workflow des équipes (documentation, formation, runbooks) ; passage de relais pour l'exploitation continue.

Profil recherché :

- Étudiant(e) en dernier année au sein d'une école d'ingénieur en France, en recherche d'un stage de fin d'études.

Compétences techniques (Hard skills) :

Must-have :

- Bases solides en développement (Python ou TypeScript) et en métriques.
- Rigueur dans la gestion des données (datasets, annotation, reproductibilité, versioning).
- Intérêt marqué pour l'IA générative et l'évaluation de la qualité.
- Anglais courant (documentation technique, outils).

Nice-to-have :

- Expérience avec des LLMs (Claude, GPT, etc.) et évaluation automatisée.
- Connaissance d'outils d'évaluation (LangSmith, OpenAI Evals, Langfuse) ou d'observabilité.
- Pratique du CI/CD, des tableaux de bord et de l'alerting.

Qualités personnelles (Soft skills) :

- Curiosité et veille technologique - Intérêt pour l'innovation en IA.
- Pédagogie - Capacité à vulgariser et à former.
- Adaptabilité - Environnement en évolution rapide.
- Esprit d'initiative - Proactivité dans l'identification d'opportunités.

Ce que trouveras chez Yousign :

- Une scale-up dynamique qui place les personnes avant tout
- Un style de management qui favorise l'autonomie et la cohésion, au travers d'objectifs communs (OKR)
- Le meilleur de la culture et des méthodes de travail
- Un environnement de travail bienveillant et stimulant
- Des évènements d'équipes réguliers
- La possibilité de travailler depuis nos très jolis bureaux à Paris juste à côté de la place de Clichy
- Télétravail occasionnel (rythme à adapter avec ton équipe)

Equal Opportunity at Yousign

Chez Yousign, nous célébrons l'unicité et veillons à ce que chaque membre de l'équipe ait les mêmes opportunités de contribuer.Nous offrons des chances égales à tous et maintenons des processus transparents et équitables.

Rejoignez-nous chez Yousign, où nos différences nourrissent la créativité et la force - embarquons ensemble dans cette aventure incroyable !