Architecte Infra Cloud & Gpu Intelligence Artificielle H/F - 75

Rattaché(e) au département Infrastructures et des Services du Socle (ISS) et placé(e) sous la responsabilité du chef de département, vous intervenez en tant qu'Architecte Infra Cloud et GPU. À ce titre, vous devrez apporter votre expertise dans l'utilisation de GPU dans un contexte principalement Cloud mais aussi On premise. Vous devrez avoir une compréhension approfondie de l'architecture Cloud et GPU et être en capacité d'évaluer les performances de la pile matérielle et logicielle.

Vos principales missions (liste non-exhaustive) seront de :
- Concevoir et déployer une infrastructure GPU scalable et performante pour l'inférence des LLMs, capable de supporter jusqu'à plusieurs dizaines de milliers d'utilisateurs ;
- Mettre en place des mécanismes robustes de gestion des quotas, rate limiting et sécurité avancée ;
- Implémenter des solutions de monitoring et observabilité avancées (Prometheus, Grafana) ;
- Etablir les choix de système d'exploitation et des middlewares associés à ce contexte ;
- Effectuer une veille technologique sur les meilleures pratiques de déploiement à grande échelle de modèles LLM (Triton, vLLM, Ray Serve)
- Assurer un support interne de niveau 3 sur ces produits ;
- Superviser le choix des frameworks, outils et technologies en collaboration avec les data scientists, ML engineers et DEVOPS ;
- Garantir la scalabilité, la maintenabilité et la sécurité de l'infrastructure ;
- Évaluer l'impact technique et fonctionnel des choix architecturaux ;
- Mettre en place et développer des outils d'analyse et d'amélioration des performances ;
- Maitriser les coûts d'usage et identifier et proposer des optimisations ;
- Assurer l'optimisation continue (load balancing, auto-scaling) et la haute disponibilité des systèmes ;