Data Scientist

Overview Budget: TJM 550 € ou CDI (idéalement) Contexte de la mission Dans le cadre d’un programme stratégique autour de l’IA générative, la mission consiste à concevoir et opérer un dispositif de benchmark des technologies GenAI du marché (LLM, embeddings, RAG, agents, assistants, etc.). L’objectif est de permettre aux équipes produits et techniques : d’évaluer objectivement les solutions d’IA générative, de comparer leurs performances, limites et biais, de sécuriser les choix technologiques, et de structurer une roadmap data & IA robuste et traçable. La mission se situe à l’interface entre data science, IA générative et architecture data, avec une forte dimension expérimentale, méthodologique et opérationnelle. 📍 Localisation : Boulogne-Billancourt (92) 🏠 Télétravail : 2 jours par semaine ⏳ Durée : 12 mois 👤 1 poste ouvert Missions principales Le/la consultant(e) interviendra sur l’ensemble de la chaîne de valeur des benchmarks IA générative, notamment : 🔬 Benchmarking & expérimentation GenAI Conception de protocoles de benchmark pour évaluer des modèles de type LLM, embeddings, RAG, agents et assistants IA. Définition de métriques d’évaluation (qualité, pertinence, hallucinations, robustesse, performance, coûts, biais). Analyse critique des résultats et restitution des enseignements. 📊 Data & pipelines expérimentaux Conception et implémentation de pipelines automatisés pour : l’ingestion, le nettoyage et le versioning de datasets de benchmark, la génération d’embeddings, la collecte et l’analyse des outputs des modèles. Gestion de datasets volumineux et hétérogènes (textes, prompts, réponses, métadonnées). 🧱 Architecture data & IA Mise en place de bases de données adaptées aux cas d’usage GenAI : bases vectorielles, bases SQL / NoSQL, stockage objet pour données massives. Conception d’architectures data garantissant performance, scalabilité, traçabilité et reproductibilité des benchmarks. Industrialisation des environnements via Docker et Infrastructure as Code (IaC). 📚 Qualité, traçabilité & documentation Définition de procédures de validation et de contrôle qualité des données. Rédaction d’un dictionnaire de données et de la documentation technique associée. Formalisation des méthodologies de benchmark et des critères d’acceptation. 📦 Livrables attendus Un schéma d’architecture data & IA détaillé pour les activités de benchmark GenAI. Une infrastructure data opérationnelle (bases vectorielles, SQL/NoSQL, stockage objet). Des environnements reproductibles (IaC, Docker, configurations). Le code source documenté des pipelines (ingestion, préparation, embeddings, collecte des résultats). La documentation data & technique complète (dictionnaire de données, architecture, exploitation). Les procédures de validation et de contrôle qualité, avec critères d’acceptation formalisés. Profil recherché Nous recherchons un Senior Data Scientist / AI Engineer, avec une expertise forte en IA générative et LLM, capable d’allier expérimentation avancée et structuration industrielle. Compétences techniques clés Python avancé (data science, ML, GenAI), APIs et scripts d’intégration. Expérience solide en IA générative : LLM, embeddings, RAG, agents, assistants, prompt engineering, gestion des hallucinations et biais. Maîtrise des bases de données : SQL (PostgreSQL), NoSQL (MongoDB), bases vectorielles. Environnements Cloud, avec une expertise attendue sur Google Cloud Platform (GCP). Pratiques DevOps / MLOps : Docker, CI/CD (GitLab CI), automatisation et reproductibilité des environnements. Conception d’architectures data adaptées à des contextes IA complexes et volumineux. Compétences méthodologiques & transverses Forte capacité d’analyse et d’évaluation critique des solutions IA. Aptitude à prototyper rapidement et à comparer des technologies émergentes. Pratique des méthodes Agile / Scrum et des bonnes pratiques de développement (code review, tests). Sensibilité aux enjeux RGPD, éthique et responsabilité de l’IA. Anglais professionnel courant (documentation, échanges techniques). Langues Français : courant Anglais : professionnel (oral et écrit) #J-18808-Ljbffr