Data Engineer Aws H/F - 75

Groupe indépendant de conseil en transformation digitale de près de 1800 collaborateurs, Néosoft s'est construit, depuis 2005, sur un modèle qui place l'excellence, le dépassement de soi et la RSE au coeur de sa stratégie.

En nous rejoignant, vous intégrez des communautés d'experts et de talents qui vous permettent de développer vos compétences et d'offrir à nos clients le meilleur accompagnement possible.

Notre savoir-faire s'articule autour de nos 6 domaines d'expertise :

- Conseil & Agilité
- Cybersécurité
- Data
- DevOps
- Infrastructures & Cloud
- Software EngineeringNous sommes à la recherche d'un consultant de haut niveau spécialisé en Data Engineering, disposant d'une expertise approfondie dans les technologies AWS (Kinesis, DMS, S3, etc.), Airflow, Terraform, GitLab CI/CD, Python ainsi qu'une solide maîtrise des bases de données telles qu'Exadata, Oracle, SQL Server et Snowflake.

Il sera chargé de concevoir et développer des pipelines de réplication et de traitement de données dans un environnement cloud tout en contribuant activement à la fiabilité, l'automatisation et la scalabilité de notre plateforme data.

Le contexte:

L'un des principaux objectifs du plan de transformation DATA du groupe Canal+ est de développer des applications DATA qui enrichissent l'expérience de nos abonnés et permettent à nos équipes métiers (pilotage, marketing, commerce, etc.) de devenir autonomes dans l'analyse des données et des KPI.

Dans ce cadre, Canal+ a déployé les outils : AWS, Dataiku, Gitlab, Terraform, Snowflake, Braze, AI, Spark, Python, POWERBI, .etc. pour mettre en place des architectures sophistiquées pour ingérer plus de 100To de données par jours: Datalake, Event-driven, Streaming, etc.

Des exemples de projets sont nombreux :

- AI Chatbot

- AI pour recommandation des programmes .etc.

- feature store

- Socle vidéo

- Content Platform

- Partager des données avec nos partenaires (Netflix, Apple, M6, TF1, etc.)

- Mettre à disposition des applications de data-selfservice

Description du poste :

Concevoir, développer et maintenir des pipelines de réplication et de traitement de données issues des sources hétérogènes, dans un contexte international, vers une plateforme de données centralisée sur AWS.

Responsabilités :

- Développement de pipelines ETL/ELT avec Airflow, Python, SQL

- Connexion aux bases sources (Exadata, Oracle, etc.)

- Intégration des données dans AWS (S3, Kinesis, DMS, Lambda...)

- Nettoyage, mapping, déduplication et enrichissement des données

- Collaboration avec les 'architectes pour appliquer les modèles cibles

- Documentation technique et référentiels

- Concevoir et mettre en oeuvre les flux de réplication

- Harmoniser et transformer les données

- Automatiser les pipelines de données

- Développer des Pipelines Gitlab CI/CD

- Développer d'IaC pour des architectures sophistiquées full AWS avec Terraform, Ansible et Python.

- Contribuer au FinOps