Ingénieur LLMOps

Smartpoint en bref, qui sommes-nous et en quoi sommes-nous différents ? Smartpoint est une ESN pure player Data & IA créée en 2006 à Paris. Nous concevons, modernisons, déployons et opérons des plateformes Data/IA de bout en bout, avec une approche DataOps & IAOps 360° : du cadrage à l'industrialisation, le run et l'amélioration continue. Notre valeur ajoutée : Des architectures data production-ready, des pipelines automatisés et observables et une obsession de la valeur opérationnelle pour les métiers. Nos équipes interviennent sur l'ensemble des grands chantiers Data & IA : Architecture et modernisation des plateformes, data engineering & XOps (DataOps, MLOps/LLMOps), IA / IA générative (LLM, RAG, agents), BI & analytics (modernisation BI, reporting, dashboards) ainsi que la gouvernance des données & qualité (catalogue, lineage, data quality, data contracts). Quelques repères : +300 experts, SmartLab (R&D inshore à Paris, agrément CIR), certifications ISO 27001/27701, engagement RSE et bilan carbone. Vos responsabilités et le périmètre du poste Au Sein De Notre Équipe DataOps & IAOps, Vous Êtes Responsable Du Run Des Applications D'IA Générative Et Des Agents De Nos Clients. Votre Mission ? Que Les IA En Production Restent Fiables, Observables, Sécurisées Et Maîtrisées En Coût. Vos Principales Responsabilités
• Construire les plateformes LLMOps
•
• Mettre en place la chaîne de déploiement des applications LLM : gestion des versions de prompts, de modèles et de configurations
• Déployer et exposer les modèles (API managées, passerelle LLM, modèles open source sur GPU)
• Observer et superviser
•
• Instrumenter les applications et les agents : traces, latence, taux d'erreur, qualité des réponses
• Mettre en place les tableaux de bord et les alertes pour les équipes de run
• Évaluer en continu
•
• Automatiser l'évaluation à chaque changement de prompt ou de modèle (tests de non-régression)
• Suivre la dérive de qualité en production et organiser les retours utilisateurs
• Maîtriser les coûts (FinOps IA)
•
• Mesurer la consommation de tokens et de GPU par cas d'usage
• Proposer les optimisations : cache, routage entre modèles, choix du modèle selon la tâche
• Sécuriser et documenter
•
• Mettre en place les contrôles : gestion des secrets, filtrage, journalisation, droits d'accès
• Produire la documentation technique utile à la conformité AI Act

Votre profil
De formation supérieure (Bac+5 en informatique ou école d'ingénieurs), vous avez 4 ans d'expérience minimum en DevOps, MLOps ou SRE, et une première expérience sur des applications LLM en production. Compétences techniques requises Plateforme & Outils
• Kubernetes, Docker, Terraform
• CI/CD : GitLab CI, GitHub Actions ou Azure DevOps
• Au moins un cloud : Azure, AWS ou GCP LLMOps & observabilité
• Observabilité des LLM : Langfuse, LangSmith, Arize Phoenix, OpenTelemetry ou équivalent
• MLflow ou équivalent pour le suivi des modèles
• Passerelles LLM : LiteLLM, Azure API Management ou équivalent
• Serving de modèles : vLLM, TGI, Ollama (apprécié) Développement
• Python, scripting, API REST
• Monitoring : Prometheus, Grafana, Datadog ou équivalent Un bon niveau d'anglais est requis pour évoluer dans un contexte international. Vos qualités pour réussir
• Sens du service et culture du run
• Rigueur dans la documentation et la gestion des incidents
• Capacité à travailler avec des équipes data, IA et sécurité