AI Evals Engineer

🧠 Rejoins le top de l'IA chez Datakeen en tant qu'AI Evals Engineer 📍 Lieu : La Défense (ou remote hybride jusqu'à 3j/semaine) 💼 Contrat : CDI 🗣 Langues : Français & Anglais 🔍 Qui sommes-nous ? Chez Datakeen, on propulse les entreprises vers l'excellence opérationnelle grâce à une IA éthique, utile et humaine. Nos solutions transforment l'expérience client, boostent la productivité et redonnent du sens au travail humain. Nos produits phares : 🪪 IDify : Vérification d'identité à distance en temps réel 📄 VerifIA : Classification intelligente, extraction documentaire et détection de fraude 💬 AnswerIA : Réponse automatique aux avis clients et réclamations 💼 Ta mission, si tu l'acceptes : Tu rejoindras une équipe tech solide où ton rôle d'AI Evals Engineer ne se limite pas à coder des pipelines. Tu seras le garant de la fiabilité de nos modèles, et la personne qui permet à l'équipe d'avancer vite et de manière éclairée : 🛠 Ingénierie backend Python : Développe et maintiens des services et pipelines Python robustes (bonnes pratiques de dev : tests, CI/CD, code review, versioning) pour industrialiser l'évaluation de nos modèles. 📏 Benchmarking & évaluation de modèles : Conçois, implémente et fais vivre des frameworks d'évaluation pour nos modèles de Deep Learning custom (vision, texte, données structurées) et nos briques LLM / agents. 🧪 Eval-driven development : Construis des jeux de données de référence, des scorers (LLM-as-judge, checks déterministes, revue humaine), et des gates de non-régression intégrés à nos pipelines de déploiement. 📊 Monitoring & observabilité : Mets en place les bons indicateurs pour détecter les dérives de performance en production, avant qu'elles n'impactent nos clients. 🤝 Collaboration transverse : Travaille main dans la main avec les équipes produit et dev pour transformer les besoins métiers en critères de qualité mesurables. 🎯 Vision & pédagogie : Présente avec impact tes résultats d'évaluation aux équipes techniques et à la direction, et contribue à la roadmap IA de la boîte. 🧬 Ton ADN ✔️ Une première expérience significative en développement Python et bonnes pratiques d'ingénierie logicielle (tests, Git, CI/CD) ✔️ Une appétence forte pour le ML/DL et une première expérience en benchmarking, évaluation ou monitoring de modèles (classiques ou LLM) ✔️ Une bonne connaissance de l'écosystème IA : PyTorch, Transformers, et idéalement des frameworks d'évaluation LLM ✔️ Formation solide (école d'ingé, MVA, etc.) et passion pour l'IA ✔️ Esprit analytique, structuré, et force de proposition ✨ Bonus : Tu as déjà contribué à une lib ou un framework d'évaluation (evals, benchmarks, observabilité IA) ? On adore ça 🎁 Pourquoi rejoindre Datakeen ? 🌍 Impact concret : tu garantis que nos IA fonctionnent vraiment, en conditions réelles 🧠 Mentorat d'experts : collabore avec des seniors et chercheurs de l'ENS ⚙️ Tech & prod au cœur : des projets déployés en conditions réelles 📈 Croissance & montée en compétences garanties dans un environnement bienveillant 🎉 Vie d'équipe : events mensuels, ambiance start-up humaine et ambitieuse 🍽 Tickets resto, remote 3j/semaine, bureaux La Défense 🤝 Tu veux faire partie de l'aventure ? Un CV, un petit mot (ou une vidéo 🎥 ) et on échange sur ton avenir chez Datakeen