Ingénieur Data Collect & Transformation - Elastic - Kafka - Logstash H/F - Davidson Consulting

Dans le cadre du développement et de l'exploitation d'une plateforme centralisée de données de sécurité, nous recherchons un Ingénieur Data Collect & Transformation disposant d'une forte expertise sur les technologies Elastic Stack, Logstash et Kafka.

La plateforme a pour objectif de centraliser, normaliser et enrichir les données et événements issus de différentes sources du SI afin de permettre leur exploitation à des fins de corrélation d'événements, détection de patterns de sécurité, monitoring et alerting.

Le consultant interviendra sur l'ensemble de la chaîne de collecte et de transformation de la donnée : architecture, intégration de nouvelles sources, pipelines de transformation, industrialisation des déploiements, monitoring et maintien en conditions opérationnelles.

La mission s'inscrit dans un environnement Groupe international, avec des déploiements sur des infrastructures centrales ainsi qu'auprès de différentes filiales et entités à l'étranger.

Missions principales

Architecture et collecte des données

- Définir et mettre en place les mécanismes de collecte des logs et événements.
- Concevoir les patterns d'architecture associés aux différents modes de collecte.
- Définir, documenter et maintenir l'architecture de l'infrastructure de collecte.
- Documenter les flux, points réseau, règles de routage et interactions entre les différents composants.
- Participer à l'évolution de l'architecture en fonction des nouvelles sources et nouveaux besoins.
- Déployer les dispositifs de collecte sur les infrastructures Groupe et au sein des différentes entités et filiales.

Elastic Stack / Logstash / Beats

- Concevoir, développer et maintenir les pipelines Logstash.
- Configurer et administrer les différents composants Elastic Stack.
- Mettre en oeuvre et maintenir les agents de collecte Elastic Beats.
- Développer les mécanismes de parsing, filtrage, normalisation et enrichissement des données.
- Optimiser les performances et la fiabilité des pipelines de collecte.
- Assurer la qualité et l'exhaustivité des données ingérées dans Elasticsearch.
- Créer et faire évoluer les dashboards et outils de supervision sous Kibana.

Kafka & Data Streaming

- Mettre en oeuvre et maintenir les flux d'échange reposant sur Apache Kafka.
- Concevoir et maintenir les traitements de données utilisant Kafka Streams / KStream.
- Gérer l'intégration entre Kafka, Logstash et Elasticsearch.
- Participer à l'optimisation des mécanismes de streaming et de transformation de données.

Industrialisation / DevOps

- Définir et mettre en oeuvre une stratégie uniforme et standardisée de déploiement et de configuration via Ansible.
- Automatiser le déploiement des agents et composants de collecte.
- Maintenir les playbooks et rôles Ansible.
- Participer aux chaînes CI/CD via GitLab et Jenkins.
- Gérer le versioning des configurations et développements avec Git.
- Participer à la conteneurisation et au déploiement des composants via Docker.

Nous recherchons un profil Ingénieur Data / Data Platform / Elastic Stack senior, disposant idéalement d'une expérience significative dans des environnements de collecte massive de logs, SIEM, observabilité ou cybersécurité.

Le candidat doit être capable d'intervenir aussi bien sur la conception de l'architecture que sur son implémentation et son exploitation.

Compétences indispensables

Elastic Stack - Expert

Très bonne maîtrise d'Elasticsearch et de son fonctionnement dans des architectures distribuées.

Logstash - Expert - compétence critique

Expertise dans le développement de pipelines Logstash complexes : inputs, filters, outputs, parsing, enrichissement, gestion des erreurs et optimisation des performances.

La maîtrise du développement et de la personnalisation avancée de Logstash constitue un élément particulièrement important du poste.

Kibana - Expert

Création de dashboards, visualisations, monitoring, troubleshooting et analyse des données.

Kafka - Expert

Très bonne maîtrise des architectures Kafka, topics, producers/consumers et mécanismes d'échange de données.

Elastic Beats - Expert /

Très bonne connaissance des agents Beats et des problématiques de collecte distribuée.

Kafka Streams / KStream - Confirmé à Expert

Expérience dans le développement ou l'exploitation de traitements de données temps réel basés sur Kafka Streams.

Ruby - Confirmé

Bonne maîtrise de Ruby, notamment pour les traitements avancés et développements associés à Logstash.

« Puisque vous ne vous intéressez pas qu'au quoi, nous sommes ravis de vous parler du comment... Créée en 2005, Davidson consulting se positionne comme un acteur du conseil en management et d'expertise technologique, présent dans 6 pays. En 2018, Davidson devient la première société de conseil en technologie et en management à devenir une B Corp! L'objectif : transformer, avec l'aide de cette communauté, le système économique mondial pour qu'il contribue au « Bien Commun » et à la planète. Nous ne sommes donc pas uniquement focalisés sur la qualité de vie au travail et la satisfaction que celui-ci nous procure, mais également sur nos impacts : sociaux, sociétaux et environnementaux.

• Docker
• Gestion des données
• Optimisation des performances
• Ruby
• Analyse de données
• Jenkins
• Git
• Ansible
• Kibana
• Cyber-sécurité
• KAFKA