3A Software Development Internship - Logical Plan Validator H/F - 75

Equipe :

Nous sommes l'équipe Analytical Engine, faisant partie du domaine EDM (Enterprise Data Management) au sein du groupe Risk and Buy-Side dans le département de développement.

Notre mission est de concevoir et de maintenir une couche de calcul adaptée à la Business Intelligence (BI), ainsi que de connecter différentes bases de données pour l'exécution de ces calculs.

Nous nous concentrons sur la mise à disposition d'une plateforme robuste et moderne, offrant des langages de Business Intelligence permettant à nos utilisateurs de modéliser les calculs dont ils ont besoin et d'accéder à des informations en temps réel.

En rejoignant notre équipe, vous travaillerez aux côtés de développeurs passionnés et de penseurs innovants, qui visent l'excellence dans chaque aspect de l'application. Nous encourageons un environnement fondé sur la collaboration, l'exploration et l'apprentissage.

Missions :

- Développer un système permettant de valider et d'optimiser automatiquement les plans logiques Calcite, en détectant les antipatterns tels que les jointures croisées, les projections redondantes et d'autres structures de requêtes inefficaces. Explorer la faisabilité de l'utilisation de l'apprentissage automatique pour identifier des schémas plus complexes ou subtils, difficiles à implémenter sous forme de règles :
- Validation basée sur des règles
- Développer des validateurs en Java pour les plans logiques Calcite.
- Détecter les antipatterns courants tels que :
- Les jointures croisées sans prédicats
- Les projections inutiles ou les opérateurs redondants
- Les chaînes d'opérateurs profondément imbriquées ou coûteuses
- Mettre en oeuvre un cadre commun de présentation pour mettre en évidence les schémas problématiques.
- Exploration de l'apprentissage automatique (optionnel / avancé)
- Étudier les techniques d'apprentissage automatique pour la validation des plans.
- Grouper et annoter des plans logiques comme « bons » ou « mauvais ».
- Entraîner/Fine tune un modèle pour détecter des schémas difficiles à exprimer sous forme de règles.
- Comparer la détection basée sur l'IA avec l'approche basée sur des règles.
- Intégration et tests
- Intégrer le système de validation dans les pipelines de requêtes existants.
- Évaluer l'impact sur les performances des antipatterns détectés.
- Documenter les règles de validation et les résultats issus de l'apprentissage automatique.