Lead Data Engineer H/F - Collective Works

  • Indépendant
  • Paris 75
  • Data et IA
  • Nouveau
Lead Data Engineer H/F Collective Works · Paris - 75 · Indépendant

Les missions du poste


Contexte

Au sein d'un opérateur de référence du transport, l'équipe IS Data & Middleware pilote l'ensemble des systèmes de données alimentant l'analytique et les plateformes data de l'entreprise, ainsi que les systèmes middleware (connecteurs sur mesure et services partagés assurant les flux inter-applicatifs).
La plateforme repose sur Databricks. L'organisation opère actuellement la migration de ses Data Products vers un nouvel espace de travail gouverné et conçu pour être « AI-ready ». Ces données sont exploitées via des agents conversationnels IA (tels que Databricks Genie) et mises à disposition d'une communauté grandissante d'analystes techniques et d'Analytics Engineers au sein des métiers qui développent en autonomie sur la plateforme. Les ingénieurs évoluent au sein de petites équipes delivery accompagnées d'un Scrum Master et livrent de manière incrémentale en étroite collaboration avec les parties prenantes métiers.

Missions

Vous encadrez une équipe de 5 à 7 Data Engineers responsables des capacités socles de la plateforme et des Data Products sur des domaines métiers clés (Commercial, Opérations, Matériel Roulant / Rolling Stock, Relation Client). Votre temps est réparti à parts égales entre le pilotage d'équipe et le leadership technique.

A. Leadership d'équipe & Pilotage (~50 %)

  • Management & Coaching : Fixer des attentes claires, accompagner et faire grandir les ingénieurs, et contribuer aux entretiens d'évaluation menés par l'Engineering Manager.
  • Delivery Agile : Collaborer avec l'Engineering Manager, le Scrum Master et les Data Product Owners pour prioriser le backlog, répartir la charge et garantir le respect des engagements.
  • Interface Métiers : Être l'interlocuteur technique référent auprès de vos domaines métiers.
  • Communauté Analytics Engineering : Définir les standards de développement des Analytics Engineers métiers, relire leur code et leurs conceptions, et piloter leur intégration.
  • Recrutement & Onboarding : Conduire les entretiens techniques et assurer l'intégration technique des nouveaux arrivants.

B. Leadership technique & Hands-on Engineering (~50 %)

  • Standards d'ingénierie & Run : Définir et faire appliquer les bonnes pratiques de développement, revue de code, tests et CI/CD. Rester actif dans le code, la conception et les revues, tout en portant la responsabilité du MCO (Run) et des coûts (FinOps) des produits de l'équipe.
  • Templates & Industrialisation : Concevoir et maintenir des modèles de projets réutilisables (Databricks Asset Bundles), des bibliothèques partagées et des pipelines CI/CD afin que chaque nouveau Data Product suive un chemin éprouvé.
  • Données « AI-Ready » : Enrichir les métadonnées et définitions sémantiques, structurer et maintenir les espaces Databricks Genie, et accompagner le passage en production fiable des agents IA data.

Outils & Environnement

  • Databricks (Unity Catalog, Delta Lake, DLT/Lakeflow, Genie)
  • Python, PySpark, SQL
  • dbt
  • Azure
  • Méthodes Scrum
  • FinOps sur Databricks

Conditions de travail

  • Secteur : Transport & mobilité internationale
  • Direction : IS Data & Middleware Architecture Data & IA (Databricks / Azure)
  • Rattachement : Engineering Manager - Data & Analytics
  • Localisation : Hybride - 1 jour par semaine sur site (Londres ou Bruxelles)
  • Durée : 12 mois, renouvelable
  • Répartition du rôle : 50 % Leadership humain & pilotage d'équipe 50 % Leadership technique & Hands-on

Positionnement & posture attendue

Nous recherchons un(e) ingénieur(e) techniquement solide, doté(e) d'une vision claire de l'état de l'art en Data Engineering et du leadership nécessaire pour fédérer les équipes. Vous définissez les standards de qualité, d'architecture et de modélisation des données, tout en instaurant une relation de confiance durable avec les ingénieurs, les partenaires externes et les métiers.

  • Une forte crédibilité technique : Vous restez hands-on sur Databricks, Spark, Python et SQL. Vous savez résoudre les problèmes les plus complexes par vous-même et mener des revues de code avec légitimité.
  • Une vision d'ingénierie affirmée : Vous avez des convictions structurées et argumentées sur la manière de concevoir les plateformes, et vous les traduisez en standards, templates et patterns adoptés par tous.
  • L'exigence sur la qualité, le design et la modélisation : Vous considérez qu'une modélisation rigoureuse est le socle indispensable de Data Products fiables : vous concevez avant de coder.
  • Un leadership fédérateur : Vous échangez avec la même aisance avec les équipes techniques, les prestataires et les décideurs métiers pour orienter les choix et faire monter l'équipe en compétence.
  • Un bâtisseur de fondations : Vous privilégiez la création d'un template réutilisable plutôt que de résoudre dix fois le même problème, en intégrant la sécurité et la préparation à l'IA dès la conception (« by design »).

Ce rôle n'est pas adapté si :

  • Vous souhaitez manager uniquement par délégation en vous éloignant du code et de l'architecture.
  • Vous recherchez un poste purement technique sans responsabilité humaine ni animation des parties prenantes.

Le profil recherché

  1. 7 ans et plus d'expérience en Data Engineering, dont au moins 2 ans en encadrement, lead technique ou mentorat d'ingénieurs
  2. Expertise approfondie et pratique sur Databricks et Spark (Unity Catalog, Delta Lake, Lakeflow / Delta Live Tables)
  3. Maîtrise avancée de Python et SQL
  4. Excellentes compétences en modélisation de données et expérience avérée dans la construction de Data as a Product
  5. Capacité démontrée à concevoir des templates réutilisables, des librairies partagées et des chaînes CI/CD adoptés par d'autres ingénieurs
  6. Maîtrise du versioning, des tests automatisés et des pipelines as code
  7. Bonne compréhension des agents IA dédiés à la donnée (ex. Databricks Genie) et des exigences pour rendre un patrimoine de données AI-ready
  8. Expression claire, structurée et convaincante, aussi bien auprès d'interlocuteurs techniques que métiers (environnement anglophone / international)
  9. Connaissance des architectures d'agents LLM (RAG, MCP) ou expérience dans l'industrialisation de modèles de Machine Learning (atout)
  10. Maîtrise des services data Azure, de dbt, et des approches Data Contracts (ODPS, ODCS) (atout)
  11. Pratique du FinOps sur Databricks, des méthodes Scrum, et expérience dans le pilotage d'équipes hybrides (atout)

Compétences requises

  • Python
  • Intelligence artificielle
  • Relation client
  • Logiciels de gestion de versions
  • Conception de templates et maquettes
  • Modélisation des données
  • Unity
  • Scrum
  • Management d'équipe
  • SQL
  • Leadership

Ces offres pourraient aussi vous correspondre.

Recherches similaires

L’emploi par métier dans le domaine Data et IA à Paris