AI Evals Engineer
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Rejoins le top de l'IA chez Datakeen en tant qu'AI Evals Engineer
Lieu : La Défense (ou remote hybride jusqu'à 3j/semaine)
Langues : Français & Anglais
Chez Datakeen, on propulse les entreprises vers l'excellence opérationnelle grâce à une IA éthique, utile et humaine. Nos solutions transforment l'expérience client, boostent la productivité et redonnent du sens au travail humain.
IDify : Vérification d'identité à distance en temps réel
VerifIA : Classification intelligente, extraction documentaire et détection de fraude
AnswerIA : Réponse automatique aux avis clients et réclamations
Tu rejoindras une équipe tech solide où ton rôle d'AI Evals Engineer ne se limite pas à coder des pipelines. Tu seras le garant de la fiabilité de nos modèles, et la personne qui permet à l'équipe d'avancer vite et de manière éclairée :
Ingénierie backend Python : Développe et maintiens des services et pipelines Python robustes (bonnes pratiques de dev : tests, CI/CD, code review, versioning) pour industrialiser l'évaluation de nos modèles.
Benchmarking & évaluation de modèles : Conçois, implémente et fais vivre des frameworks d'évaluation pour nos modèles de Deep Learning custom (vision, texte, données structurées) et nos briques LLM / agents.
Eval-driven development : Construis des jeux de données de référence, des scorers (LLM-as-judge, checks déterministes, revue humaine), et des gates de non-régression intégrés à nos pipelines de déploiement.
Monitoring & observabilité : Mets en place les bons indicateurs pour détecter les dérives de performance en production, avant qu'elles n'impactent nos clients.
Collaboration transverse : Travaille main dans la main avec les équipes produit et dev pour transformer les besoins métiers en critères de qualité mesurables.
Vision & pédagogie : Présente avec impact tes résultats d'évaluation aux équipes techniques et à la direction, et contribue à la roadmap IA de la boîte.
Une première expérience significative en développement Python et bonnes pratiques d'ingénierie logicielle (tests, Git, CI/CD)
Une appétence forte pour le ML/DL et une première expérience en benchmarking, évaluation ou monitoring de modèles (classiques ou LLM)
Une bonne connaissance de l'écosystème IA : PyTorch, Transformers, et idéalement des frameworks d'évaluation LLM
Formation solide (école d'ingé, MVA, etc.) et passion pour l'IA
Esprit analytique, structuré, et force de proposition
Bonus : Tu as déjà contribué à une lib ou un framework d'évaluation (evals, benchmarks, observabilité IA) ? On adore ça
Pourquoi rejoindre Datakeen ?
Impact concret : tu garantis que nos IA fonctionnent vraiment, en conditions réelles
Mentorat d'experts : collabore avec des seniors et chercheurs de l'ENS
Tech & prod au cœur : des projets déployés en conditions réelles
Croissance & montée en compétences garanties dans un environnement bienveillant
Vie d'équipe : events mensuels, ambiance start-up humaine et ambitieuse
Tickets resto, remote 3j/semaine, bureaux La Défense
Tu veux faire partie de l'aventure ?
-
Research Engineer
Il y a 8 heures
Paris, Île-de-France White Circle Temps pleinTLDR: We're looking for a research engineer to build and maintain our internal suite of benchmarks, covering single/multi-turn content and agentic guardrails. The research engineer would also work with the team on projects studying agent behaviours in the wild.About usWhite Circle is an AI Safety company building the safety, reliability, and optimization...
-
ML Infrastructure Engineer
Il y a 8 heures
Paris, Île-de-France White Circle Temps pleinTLDR: We are looking for an ML Infrastructure Engineer to build the systems behind our LLM post-training, RL, evaluation, inference, and agentic development workflows. You will work close to researchers, GPUs, training loops, data control systems, evals, inference stacks, and the infrastructure decisions that directly affect model learning and product...
-
AI Engineer, Product
Il y a 8 heures
Paris, Ile-de-France Mistral Temps pleinAbout MistralMistral provides full-stack AI solutions: from frontier models to developer tools, applications, and compute. We partner with enterprises tackling the hardest problems across high-stakes industries like finance, manufacturing, defense, healthcare, and the public sector, co-creating customized AI systems that they can run on their terms.We are a...
-
Applied AI Engineer, CyberSecurity
Il y a 8 heures
Paris, Ile-de-France Mistral Temps pleinAbout MistralMistral provides full-stack AI solutions: from frontier models to developer tools, applications, and compute. We partner with enterprises tackling the hardest problems across high-stakes industries like finance, manufacturing, defense, healthcare, and the public sector, co-creating customized AI systems that they can run on their terms.We are a...
-
Parsio - Founding Backend/AI Engineer
Il y a 8 heures
Paris, Ile de France OSS Ventures Temps plein 80 000 € - 90 000 €Founding Engineer - Parsio Build Parsio's core backend and AI systems, and help turn our clients' messy industrial files into typed, auditable, decision-ready data that makes them more competitive. Full-time · Paris The role at a glance Location: Paris Contract: CDI · On-site・ 3–4 days/week Compensation: €80–90K gross Equity: Founding-level...
-
Research Engineer, Forge
Il y a 8 heures
Paris, Ile-de-France Mistral Temps pleinAbout MistralMistral provides full-stack AI solutions: from frontier models to developer tools, applications, and compute. We partner with enterprises tackling the hardest problems across high-stakes industries like finance, manufacturing, defense, healthcare, and the public sector, co-creating customized AI systems that they can run on their terms.We are a...
-
Senior AI Engineer 🇪🇺
Il y a 8 heures
Paris, Ile de France Pennylane SAS Télétravail Temps pleinAre you looking to have an impact on the daily life of millions of entrepreneurs in France (and tomorrow in Europe)? Are you looking for a work environment that values trust, proactivity, and autonomy? Are our Engineering principles aligned with your vision? Then Pennylane is the right place for you!Our visionWe aim to become the most beloved financial...
-
Research Engineer: AI Training
Il y a 1 jour
Paris, Île-de-France Mistral Temps plein 90 000 € - 140 000 € ContratMistral on Forge develops end-to-end training and deployment workflows for client AI solutions. You will work across CPT/SFT/RL/distillation, evaluation, data, and infrastructure to turn prototypes into reliable production pipelines.You will collaborate with scientists, engineers, product, and customer-facing teams to ensure Forge projects ship, are...
-
Lead LLM Engineer
Il y a 2 jours
Paris, Île-de-France Leonar Temps plein 90 000 € - 140 000 € ContratLicorne Society a été missionné par une startup IA en pleine croissance pour les aider à trouver leur Lead LLM Engineer. What You Will Own You will be responsible for one thing: Make our AI outputs reliable, fast, and indispensable in real workflows. Concretely Design and evolve our LLM / agent architecture Own output quality across key use cases...
-
Senior Data Engineer
Il y a 8 heures
Paris, Île-de-France Voodoo Temps pleinAbout VoodooFounded in 2013, Voodoo is a tech company that creates mobile games and apps with a mission to entertain the world. Gathering 800 employees, 7 billion downloads, and over 200 million active users, Voodoo is the #3 mobile publisher worldwide in terms of downloads after Google and Meta. Our portfolio includes chart-topping games like Mob Control...
