Stage de fin d’études — LLM-as-a-Judge: évaluation automatique, fiabilité et qualité des modèles d’IA

Il y a 23 heures

Puteaux, Île-de-France Wavestone Temps plein

Stage de fin d’études — LLM-as-a-Judge: évaluation automatique, fiabilité et qualité des modèles d’IA (H/F)

Rejoignez un cabinet de conseil international qui accompagne les grandes transformations stratégiques.

Nous sommes Wavestone: des expert·espassionné·es et orienté·es solutions, qui placent l’humain au cœur de la performance et de la croissance. Ambitieux·seset en pleine expansion, nous développons sans cesse notre portefeuille de clients et de projets, avec une portée internationale et une réelle volonté de générer un impact positif.

Êtes‑vous un·e vrai·e team player, porté·e par des valeurs fortes? Êtes‑vous curieux‑se et déterminé‑e, avec l’envie d’apprendre chaque jour ? Êtes‑vous du genre à relever les défis sans hésiter ? Alors vous êtes au bon endroit. Rejoignez Wavestone et exprimez votre potentiel dans un environnement stimulant et collaboratif, où l’on transforme les défis d’aujourd’hui en opportunités de demain.

Votreéquipe

Unecommunautéde+500 consultants IA & Data,renforcéedepuisseptembre2026 par l’intégration d’AI Builders. Nousaccompagnonslesorganisationsde boutenbout:

  • Identifier lescasd’usageIA à plus fortevaleurmétier
  • ConcevoirdesplateformesData & IAperformantesetindustrialisées
  • Définirdesmodèlesdegouvernanceresponsablesetscalables

Duconcret, pas del’IAdedémonstration:noséquipesdéveloppentdes solutions déployées en production, parmi lesquelles:

  • UneplateformeData Groupe sur MicrosoftFabric
  • Unsystèmemulti-agentstraitant80000demandesd’achatpar an
  • Uneplateformede services IAbaséesurl’écosystèmeMistral
  • Unmodèlede computer visionatteignant91% deprécisionterrain

Unécosystèmetechnologiquede premierplan:noustravaillonsavec lesprincipauxacteursdumarché: Microsoft, Google, AWS, Mistral, Anthropic, Databricks et Dataiku, tout en conservant une approche indépendante, guidéepar lavaleurcrééepournosclients.

Votresujetde stage

Enparallèledevosmissions, vousconduirezunsujetde stage fil rouge. Cesujetvouspermettrad’approfondiruneexpertisespécifique, decontribuerà lacommunautéIA deWavestoneet devaloriservostravauxlorsd’unerestitutionenfin de stage.

Votresujetfil rougeconsisteraàconcevoirundispositifd’évaluationautomatiquefondésurl’approcheLLM-as-a-Judge:protocolesd’évaluation, jeux de test,mesurede lacorrélationavec lejugementhumainetanalysedesbiaisdumodèlejuge. Vouscontribuerezàproduireun cadred’évaluationapplicable àl’ensembledenosprojetsd’IAgénérativeetagentiques.

Vosresponsabilités

Sous latutelled’un·econsultant·eet le pilotaged’un·emanager, vousinterviendrezprogressivementsur les missionssuivantes:

  • Concevoirdesprotocolesd’évaluationautomatiquede solutions GenAI etagentiques
  • Construiredes jeux de test et des grilles de notationadaptésauxcasd’usage
  • Mesurerlafiabilitédesévaluationsetanalyserlesbiaisdesmodèlesjuges
  • Intégrerl’évaluationdans leschaînesdedéploiementet lesdispositifsde monitoring
  • Formaliserun cadred’évaluationréutilisableet le diffuser au sein de lacommunauté

Quelquesoitvotresujet, vousréaliserezuneveilletechnologiquecontinue sur les solutions Data & IA etcontribuerezà la vie et aurayonnementde lacommunautéIAWavestone.

  • Transverse:miseenplace d’undispositifd’évaluationcontinue suruneplateformeagentiquemulti-usages
  • Industrie:évaluationde laqualitéet de lafiabilitédesréponsesd’un agentdocumentairetechnique
  • Énergie:mesurede la pertinence d’un assistantconversationnelsur un corpusréglementaire

Votreaccompagnement

  • Un·etuteur·rice,un·echef·fedeprojetetun·eCareerDevelopmentManager pour vous guider tout au long devotreparcours
  • L’accèsàDataCamp, auprogrammed’upskillingAI&Meet àunelicenceCopilotM365
  • Desfeedbacksréguliers, unparcoursd’intégrationstructuréetunecommunautéactive de nouveauxarrivants

Profilrecherché

  • Étudiant·eendernièreannéede grande écoled’ingénieursoude commerce (Diplômed’Ingénieur, PGE), avecunespécialisationendata science, intelligenceartificielle, transformation digitale ou stratégie
  • Maîtrisede Python et pratique desframeworksLLM:appelsd’API, prompt engineering, architectures RAG
  • Rigueurméthodologiqueet goût pour lamesureetl’expérimentation
  • Motivation pourdécouvrirle conseil et lesenvironnementsclient grandscomptes
  • Français:unniveaucourantestrequispourceposte
  • Anglais:unniveauminimum C1 estrequispourceposte

Ce quiferaladifférence

  • Curiositéintellectuelleetenvied’apprendre
  • Capacitéd’analyseet de structuration
  • Autonomieetsensdesresponsabilités
  • Aisanceencommunicationécriteotorale
  • Espritd’équipeet goût du travailcollaboratif
    • Un impactréel, àl’échelle: des solutions IAindustrialiséesetutiliséespar desmilliersd’utilisateurs, pas des