Data Engineer - Python & Streaming H/F - CHARLI GROUP
- CDI
- CHARLI GROUP
Les missions du poste
Au sein de notre direction Data, vous rejoignez une équipe d'ingénierie de pointe pour concevoir, bâtir et maintenir une infrastructure de données robuste, performante et entièrement on-premise.
Dans cet environnement autogéré, vous jouerez un rôle clé dans la mise en place de pipelines de données haute disponibilité (Batch & Real-time) et garantirez une résilience maximale de notre écosystème Big Data.
Vos Missions :
- Ingénierie de Pipelines : Concevoir et développer des pipelines de données scalables avec Apache Flink (streaming) et Apache Airflow (orchestration).
- Expertise Python & ETL : Produire un code Python de haute qualité (propre, testé et efficient) pour les processus ETL/ELT complexes et les outils internes.
- Architecture Messaging & Observabilité : Opérer des clusters Apache Kafka à haut débit et administrer l'intégralité de la stack ELK (Elasticsearch, Logstash, Kibana) pour l'indexation et l'observabilité.
- Collaboration & DevOps : Travailler en étroite collaboration avec les équipes DevOps sur la planification de capacité et le cycle de vie des clusters sous Kubernetes.
- Mentorat : Accompagner la montée en compétences des profils juniors et promouvoir les bonnes pratiques de développement (Tests, CI/CD, Qualité de code).
Le profil recherché
Qualités personnelles :
- Rigueur & Résilience : Vous avez le goût des infrastructures critiques et autogérées.
- Esprit d'équipe : Vous appréciez le travail collaboratif et le partage de connaissances.
- Capacité d'Analyse : Vous savez modéliser des flux complexes dans un environnement exigeant.
Expertise Python (Indispensable) :
- Maîtrise des paradigmes avancés : décorateurs, générateurs, métaclasses, typage statique (mypy).
- Développement de packages structurés et gestion rigoureuse des tests (pytest, fixtures, mocking).
- Expérience poussée des clients Python pour Kafka et Elasticsearch.
- Manipulation de données avec Pandas et PyArrow (formats Parquet/ORC).
- Maîtrise de la qualité de code : Ruff, Black, Pylint, Pre-commit.
Stack Data & Infrastructure :
- Expérience avancée sur Apache Flink et Apache Kafka en production.
- Maîtrise complète de la stack ELK (administration, pipelines, dashboards).
- Expertise sur Kubernetes et les principes CI/CD (GitOps).
- Aisance en environnement Linux On-Premise (Réseau, Stockage, Administration).
Compétences requises
- Python
- Esprit d'analyse