A2i- Datahub Production Data Enginerie H/F - 75

Le bénéficiaire souhaite une prestation d'accompagnement pour assurer le MCO des Infrastructures HDP et CDP, administration des Clusters,
Les missions sont:

Les consultants retenus auront pour mission :
- Administration et optimisation de clusters HDP/CDP
- Installation, configuration et maintenance des clusters.
- Gestion des mises à jour et des patchs de sécurité.
- Surveillance des performances et optimisation des ressources.
- gestion/administration de clusters Kubernetes
- Automatisation des déploiements avec Operators..., etc.
- Sécurisation et monitoring des environnements conteneurisés.
- Orchestration des workflows avec Apache Airflow :
- Développement et optimisation des DAGs pour la gestion des pipelines de données.
- Gestion des dépendances et optimisation des temps d'exécution.
- Intégration avec les autres outils de l'écosystème.
- Traitement et analyse des données avec Apache Spark :
- Développement et optimisation des jobs Spark (batch et streaming).
- Gestion des performances et tuning des jobs.
- Intégration avec les systèmes de stockage distribués.
- Optimisation des requêtes et accès aux données avec Starburst :
- Configuration et administration de Starburst.
- Optimisation des requêtes SQL distribuées.
- Sécurisation et gestion des accès aux différentes sources de données.
Français/Anglais