developpeur Java LLM
Il y a 5 jours
Fresnes, Ile-de-France
IT MATES
Temps plein
Gratuit avec email ou Google
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Gratuit avec email ou Google
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Le contexte Dans le cadre du développement d’un projet existant intégrant de l’intelligence artificielle générative, l’équipe souhaite accueillir un Ingénieur Développeur IA Senior.
Vous interviendrez au sein d’une équipe déjà constituée afin de consolider les usages actuels des grands modèles de langage (LLM), d’améliorer les méthodes d’évaluation et de faire évoluer l’architecture sur la base de résultats mesurables.
Vos missions
● Concevoir des chaînes d’extraction fiables : définir l’approche adaptée (function calling, sorties structurées, validation, vérification et réparation) ainsi que les schémas d’entrée transmis aux modèles.
● Évaluer et comparer les solutions : constituer et maintenir des jeux de cas, conduire des expérimentations et comparer prompts, modèles et méthodes à partir de critères quantitatifs.
● Fiabiliser l’évaluation automatisée : qualifier les juges LLM en mesurant leur cohérence et leur fiabilité par rapport à des évaluations humaines, tout en identifiant leurs biais et leur variabilité.
● Sélectionner les modèles pertinents : arbitrer entre qualité des réponses, coûts et latence, dans un environnement privilégiant des solutions souveraines ou hébergées en région européenne (notamment Mistral et AWS Bedrock).
● Industrialiser les solutions validées : mettre en production un code robuste et testé, avec observabilité, gestion des erreurs, suivi des performances et détection des dérives.
● Accompagner la montée en compétence : partager vos choix techniques avec l’équipe et les interlocuteurs métier, et transmettre les bonnes pratiques en matière d’évaluation des LLM.
Votre profil
● Vous justifiez d’au moins 5 ans d’expérience en développement logiciel avec java springboot, dont 2 ans minimum sur des produits intégrant des LLM en production. ● Vous maîtrisez les pratiques d’évaluation des LLM : constitution de jeux de tests, définition de métriques, approche LLM-as-a-judge, analyse des biais et de la variance entre exécutions. ● Vous avez une expérience concrète de l’extraction d’informations structurées à partir de textes libres : sorties structurées, function calling et validation de schémas. ● Vous disposez d’un excellent niveau en Python et appliquez les bonnes pratiques de développement, notamment les tests automatisés et la qualité du code. ● Vous savez comparer plusieurs approches, prendre des décisions techniques fondées sur des mesures et expliquer clairement vos arbitrages à des interlocuteurs techniques comme métier.
Votre profil
● Vous justifiez d’au moins 5 ans d’expérience en développement logiciel avec java springboot, dont 2 ans minimum sur des produits intégrant des LLM en production. ● Vous maîtrisez les pratiques d’évaluation des LLM : constitution de jeux de tests, définition de métriques, approche LLM-as-a-judge, analyse des biais et de la variance entre exécutions. ● Vous avez une expérience concrète de l’extraction d’informations structurées à partir de textes libres : sorties structurées, function calling et validation de schémas. ● Vous disposez d’un excellent niveau en Python et appliquez les bonnes pratiques de développement, notamment les tests automatisés et la qualité du code. ● Vous savez comparer plusieurs approches, prendre des décisions techniques fondées sur des mesures et expliquer clairement vos arbitrages à des interlocuteurs techniques comme métier.