Tech Lead Expert Rag - Freelance H/F - Meetshake

Contexte

Aux côtés d'une équipe d'experts passionnés, vous relèverez les plus hauts défis techniques d'une société spécialisée dans l'édition et les services technologiques à périmètre international. En tant qu'Expert Data & Retrieval, vous êtes le garant de la matière première de notre IA : la collecte, l'ingestion, l'indexation et la recherche de pertinence sur des volumes massifs de documents spécialisés, le socle qui alimente nos modèles de langage et nos produits. Votre terrain de jeu : transformer la manière dont tout un secteur professionnel travaille au quotidien.

Votre mission n'est pas d'écrire un simple script, mais de concevoir des pipelines de données robustes capables d'ingérer, de nettoyer et d'indexer d'énormes corpus textuels, puis d'exposer une recherche rapide et pertinente (sémantique et hybride) au service de plusieurs équipes à travers l'Europe. Vous garantirez la fraîcheur des index et la qualité du retrieval tout en gérant une complexité technique de haut vol (volumétrie, hétérogénéité des sources, évaluation de la pertinence, scalabilité).

Missions

Vos missions principales s'articulent autour de trois axes : bâtir, outiller et transmettre.

1. Collecte, ingestion & indexation

• Concevoir la collecte et le traitement de sources hétérogènes (open data, bases spécialisées, documents métier), le parsing, le nettoyage, le chunking et la normalisation des documents.
• Choisir et industrialiser les modèles d'embeddings, alimenter et maintenir les bases vectorielles, gérer la fraîcheur et la reconstruction des index.
• Garantir la scalabilité de l'indexation sur des corpus massifs et la traçabilité des données (lignage, versioning des index).

1. Recherche & pertinence (Retrieval)

• Combiner recherche lexicale et sémantique (BM25 + embeddings) avec reranking et filtrage par métadonnées pour maximiser la pertinence.
• Mettre en place des jeux de tests et des métriques de pertinence (recall, precision, nDCG, MRR) pour mesurer et améliorer le retrieval.
• Structurer la phase de récupération qui alimente les LLM (contexte, citations, dé-duplication, gestion des fenêtres de contexte).
• Instrumenter les pipelines (logs, métriques, traces de qualité) et garantir la sécurité et la conformité des données (isolation par pays, conformité aux réglementations).

1. Leadership technique & gouvernance

• Promouvoir les pratiques de Clean Code, SOLID, et tests automatisés.
• Assurer une veille constante et contribuer au rayonnement technique du groupe (articles, meetups, open-source).

Stack technique

• Langages : Python 3.11+ (maîtrise requise), Go
• Indexation : Bases vectorielles (pgvector, Weaviate, Qdrant, OpenSearch), recherche hybride / BM25
• Embeddings & NLP : sentence-transformers, modèles d'embeddings, tokenisation, parsing de documents
• RAG & LLM : LangChain, RAG, reranking, OpenAI, Mistral, Bedrock
• Data & Infra : PostgreSQL, Airflow / Spark (ou équivalent), Kafka, Redis, Docker, CI/CD, Kubernetes
• Tests & Qualité : Pytest, évaluation de la pertinence (recall, nDCG, MRR)

Conditions de travail

• Secteur : Édition spécialisée & services technologiques
• Périmètre : France (périmètre européen)
• Type de contrat : Freelance
• Domaine : Intelligence Artificielle & Data Engineering

1. Master, Ph.D, Diplôme d'Ingénieur ou équivalent en Informatique / Data
2. Maîtrise de Python 3.11+, connaissance de Go appréciée
3. Expérience avérée en Data Engineering / Information Retrieval sur des volumes massifs en production
4. Expertise en indexation, embeddings et recherche hybride, capacité à mesurer et améliorer la pertinence
5. Solide culture IA / ML : embeddings, NLP, bonne compréhension des LLM
6. Connaissance des bases vectorielles (pgvector, Weaviate, Qdrant, OpenSearch) et des techniques de recherche hybride / BM25
7. Expérience avec les outils et technologies : LangChain, RAG, reranking, OpenAI, Mistral, Bedrock
8. Compétences en PostgreSQL, Airflow / Spark, Kafka, Redis, Docker, CI/CD, Kubernetes
9. Pratique des tests et évaluation de la qualité : Pytest, métriques de pertinence (recall, nDCG, MRR)
10. Culture data forte : pipelines reproductibles, qualité, lignage et versioning des données et index
11. Polyvalence et appétence pour d'autres langages, notamment Java, un plus
12. Anglais fluide requis (contexte européen quotidien)
13. Vision produit : comprendre les enjeux métiers pour prioriser les fonctionnalités
14. Leadership technique et pédagogie : capacité à évangéliser les bonnes pratiques data, retrieval et IA
15. Obsession de la qualité : rigueur sur la sécurité des données et la fiabilité des services
16. Esprit d'innovation et curiosité pour les avancées en IA, NLP et data
17. Bonne communication : savoir vulgariser des concepts complexes auprès de différents interlocuteurs

• Docker
• Python
• Anglais
• Intelligence artificielle
• Kubernetes
• PostgreSQL
• Management d'équipe
• Normalisation
• KAFKA
• Go
• Leadership