IA Ingénieur·e IA générative — RAG et évaluation Selon profil

Ingénieur·e IA générative — RAG et évaluation

Construire la démarche d'évaluation d'un pipeline RAG en production — Golden Dataset, tests de régression en CI, monitoring des coûts et de la latence — au sein de l'IA Factory d'une organisation publique réglementée.

Description du client

Cabinet de conseil et de formation en IA et data fondé en 2019, en croissance, qui accompagne des grands comptes de la banque, de l'assurance, du secteur public et de la défense dans leurs projets d'intelligence artificielle. La mission s'inscrit dans sa Gen AI Factory, aux côtés d'un Lead Tech et d'une ingénieure interne.

Deux plateformes de RAG sont déjà en production pour un acteur du secteur public, dans un environnement réglementé et soumis à une contrainte de souveraineté numérique (modèles open-weight uniquement). La pertinence des réponses plafonne aujourd'hui autour de 50 % : il faut industrialiser l'évaluation et le monitoring avant l'ouverture à 10 %, puis 100 %, des utilisateurs.

Détail & objectif de la mission

Renforcer une IA Factory pour industrialiser l'évaluation d'un pipeline RAG servant deux plateformes déjà en production, dans un contexte secteur public réglementé, et accompagner leur montée en charge vers l'ensemble des utilisateurs.

• Industrialiser l'évaluation du RAG : constitution du Golden Dataset, évaluation à froid et à chaud, suivi des métriques de pertinence.
• Intégrer les tests de régression dans les pipelines CI pour sécuriser chaque évolution du pipeline de retrieval.
• Améliorer en continu la chaîne RAG : stratégies de chunking, retriever sur PGVector, reranking, qualité de l'OCR en amont.
• Outiller le monitoring des réponses, de la latence et des coûts d'inférence via Langfuse et LiteLLM.
• Déployer les pilotes en production sur infrastructure OVH et absorber le passage à l'échelle par paliers d'utilisateurs.
• Produire les livrables attendus par la DSI dans le respect des échéances fixées.
• Dupliquer la démarche d'évaluation sur le second pilote une fois la méthodologie stabilisée.

Profil recherché

• Expérience confirmée/senior en Python et développement d'API avec FastAPI, avec intégration dans un produit existant déjà déployé
• Mise en production effective de systèmes RAG en entreprise : conception et amélioration du pipeline (chunking, retriever, reranking, OCR), évaluation à froid et à chaud, Golden Dataset, tests de régression, suivi de métriques de pertinence
• Pratique des LLM open-weight et des frameworks d'orchestration et d'observabilité associés (LiteLLM, Langfuse ou équivalents), dans un contexte de souveraineté numérique excluant les SaaS américains
• SQL et bases vectorielles, en particulier PGVector / PostgreSQL
• Expérience de l'industrialisation et du passage à l'échelle : pipelines CI, monitoring, montée en charge progressive d'un service en production
• Travail en méthodologie Agile dans un environnement grand compte ou secteur public, avec des échéances DSI à tenir ; lecture courante de documentation technique en anglais (le reste de la mission se déroule en français)

Un plus : orchestration de pipelines avec Airflow, pratique du cloud OVH, outillage MLOps (Docker, Kubernetes, MLflow), ML « classique » (scikit-learn, PyTorch, TensorFlow).

Le client est un cabinet de conseil et de formation en intelligence artificielle et en data, fondé en 2019 et en croissance, qui intervient auprès de grands comptes de la banque, de l'assurance, du secteur public et de la défense. La mission se déroule au sein de sa Gen AI Factory, une équipe resserrée composée d'un Lead Tech et d'une ingénieure interne, que ce renfort vient compléter.

Le périmètre concerne deux plateformes de RAG (Retrieval Augmented Generation) déjà en production chez un acteur du secteur public, dans un environnement réglementé soumis à une contrainte de souveraineté numérique : seuls des modèles open-weight sont utilisés, à l'exclusion des services SaaS américains. La pertinence des réponses plafonne actuellement autour de 50 %, ce qui conditionne l'ouverture progressive du service à 10 % puis à 100 % des utilisateurs.

Objectifs de la mission

L'enjeu est de passer d'un pipeline RAG fonctionnel à un pipeline mesuré, surveillé et capable d'absorber une montée en charge par paliers. L'évaluation n'est pas un chantier ponctuel mais un outillage à construire, puis à transposer du premier pilote au second.

• Construire le Golden Dataset et mettre en place l'évaluation à froid et à chaud des réponses, avec un suivi régulier des métriques de pertinence.
• Intégrer des tests de régression dans les pipelines d'intégration continue afin que chaque évolution du retrieva