Ingénieur(e) LLMOps
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Ingénieur(e) LLMOps / MLOps / Observabilité
Êtes-vous le/la candidat(e) idéal(e) pour cette opportunité ? Assurez-vous de lire la description complète ci-dessous.
Nous recherchons l'ingénieur(e) clé qui prendra en main l'infrastructure d'observabilité, d'évaluation et de contrôle des coûts de nos applications IA.
Le challenge :
Garantir la fiabilité, la qualité et la maîtrise des coûts de tous les cas d'usage LLM en production sur l'ensemble de l'organisation.
Ce que vous ferez au quotidien :
- Infrastructures d'observabilité : Déployer et gérer le tracing distribué, le suivi de la latence, des coûts et de la qualité des LLM (évaluation du stack actuel avec Langfuse vs alternatives comme Langsmith).
- Pipelines d'évaluation : Concevoir les outils permettant d'exécuter et de versionner des suites de tests en continu (offline & online evals).
- Versioning & Data : Structurer le versioning des prompts, des modèles et la gestion des datasets de test.
- Alerting & Qualité : Mettre en place la détection automatique des dégradations de qualité en production et la gestion du registre de modèles. xuezdbg
Le profil idéal :
- Expertise Observabilité & LLMOps : Expérience concrète sur du tracing distribué, métriques, alerting (idéalement appliqués aux LLM) et le déploiement d'outils d'observabilité dans de grandes entreprises.
- Cloud & Tools : À l'aise avec les déploiements sur AWS et la manipulation d'outils du paysage LLMOps (Langfuse, Langsmith, Braintrust...).